<div dir="ltr">Danko,<div><br></div><div>I must provide a deeper insight into your comment: "Write down: The original study reported the performance of A. The true performance is B. And B < A."</div><br>If the truth is that B can report only 10% correct, A can report 99.99% correct or any higher percentage, if one uses a flowed protocol---Post-Selections Using Validation Sets (PSUVS) or Post-Selections Using Test Sets (PSUTS) depending on whether A reports validation performance or test performance.<br><br>I  have proven the following theorem, in a manuscript currently being evaluated by a journal (an archival version of my IJCNN 2021 paper about Post-Selections):<br><br>Theorem 4 (Post-Selection Illusion): Given any nonzero validation error rate and nonzero test error rate, the nearest neighbor classifiers with a confidence threshold in Definition 4 satisfies the validation error rate and the test error rate, if the computational resources and the time spent on Post-Selections are not bounded.<br><br>With an explosion of the number of false papers, the AI field is in a great crisis of protocol flaw.<div><br>Best regards,</div><div>-John</div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Wed, Mar 16, 2022 at 5:51 PM Juyang Weng <<a href="mailto:juyang.weng@gmail.com" target="_blank">juyang.weng@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div>Danko,</div><div><br></div><div>(A) You wrote "Have a student or a group of students redo the studies (at least those for which the code and data are available) and publish the correct performance results."</div><br>I tried to contact the authors of a few so-called "high profile" papers. Many of them did not respond at all.  Some of them even contacted my MSU supervisor to press me to be silent.    If some data sets are available at Github or elsewhere, something is always missing.  It is always not a click of a run to get all the results.  In fact, a click of a run saves their time instead of removing something. Did they do a careful job to make sure that duplication is too costly? <div><br></div><div>(B) You wrote: "Write down: The original study reported the performance of A. The true<br>performance is B. And B < A."<br><br>From the theory in my paper in IJCNN, it is much much worse than B < A.  The Post-Selection technique is not product-credible at all, since it requires a customer to cast dice, probably many times.  Saggio et al. of Google in Nature is among the few who responded to Nature's request, which I appreciate.  The paper mentioned training 10,000 random networks, but the authors did not show the performance of these 10,000 networks, only 165 (luckiest?) of them.</div><div><br></div><div>(C) You wrote: "Would you say that this entire issue is a part of the general replicability<br>crisis in science?"<br><br>Not as a scientific historian, I guess that this rampant scale of general replicability crisis in AI is probably the greatest in human history if we consider the number of AI papers that hide the Post-Selection stages.  arXiv rejected my reports to Science and Nature about the Protocol flaws without stating any reasons.  Is arXiv not peer reviewed as it claimed?<br><br>Best regards,</div><div>-John </div><div><div><div>----</div><div>Date: Wed, 16 Mar 2022 06:48:59 +0100<br>From: Danko Nikolic <<a href="mailto:danko.nikolic@gmail.com" target="_blank">danko.nikolic@gmail.com</a>><br>To: Juyang Weng <<a href="mailto:juyang.weng@gmail.com" target="_blank">juyang.weng@gmail.com</a>><br>Cc: Post Connectionists <<a href="mailto:connectionists@mailman.srv.cs.cmu.edu" target="_blank">connectionists@mailman.srv.cs.cmu.edu</a>><br>Subject: Re: Connectionists: Rising Stars in AI Symposium at KAUST:<br>        Protocol        Flaws<br>Message-ID:<br>        <CANVbDY0sUdYpuVYZHGDijP3o_tmEMc5ddFf7xb=<a href="mailto:qyiZBCHAhnw@mail.gmail.com" target="_blank">qyiZBCHAhnw@mail.gmail.com</a>><br>Content-Type: text/plain; charset="utf-8"<br><br>Thank you Juyang,<br><br>" Please suggest what we should do, as much resource is being wasted."<br><br>A suggestion: Have a student or a group of students redo the studies (at<br>least those for which the code and data are available) and publish the<br>correct performance results.<br><br>Write down: The original study reported the performance of A. The true<br>performance is B. And B < A.<br><br>This is a lot of work. I know.<br><br>Would you say that this entire issue is a part of the general replicability<br>crisis in science?<br><br>Danko<br><br>Dr. Danko Nikoli?<br><a href="http://www.danko-nikolic.com/" rel="noreferrer" target="_blank">www.danko-nikolic.com</a><br><a href="https://www.linkedin.com/in/danko-nikolic/" rel="noreferrer" target="_blank">https://www.linkedin.com/in/danko-nikolic/</a><br></div><br clear="all"><div><br></div>-- <br><div dir="ltr"><div dir="ltr">Juyang (John) Weng<br></div></div></div></div></div>
</blockquote></div><br clear="all"><div><br></div>-- <br><div dir="ltr"><div dir="ltr">Juyang (John) Weng<br></div></div>