<div dir="ltr"><div>Dear Juyang & Ali</div><div><br></div>Modularity and localized learning does not work with feedforward networks, but it works within networks where neurons inhibit their own inputs, like Regulatory Feedback. <div>Each neuron can be configured as an individual unit and the weights can be the value of inputs present when a supervised signal is given.  This is localized learning e.g. representing likelihood without distribution or the original simple Hebbian type learning without normalization or adjustment based on error. </div><div><br></div><div>The key to regulatory feedback is that for each input a neuron receives it sends an inhibitory projection linked to its activation to that same input (e.g. by connecting back to inhibitory interneurons).</div><div><br></div><div>Neurons in the regulatory feedback configuration are modular, you can include them or not include them in the network and they can even be dynamically taken out anytime by artificially forcing a neuron activation to be zero during recognition iterations.</div><div><br><div>When recognizing the iterative feedback interactions between neurons cooperatively and competitively determines which neurons are the best fit to the input. The iterations during recognition are the "glue" that allows modular neurons to interact together to find the best result that includes the contribution (and updated contributions) of all of the modular neurons. Thus the results of recognition are distributed via potential contributions of many neurons but the learning is localized.</div><div><br><div>I know initially this is very counterintuitive and foreign but I encourage you to understand the mechanism and results through the videos and papers before making statements that: modularity is not possible or "too simple".  It is just not possible or clear in feedforward networks.</div><div><br></div><div>Two papers where I analyze the modularity are:</div><div>1) Achler T., Non-Oscillatory Dynamics to Disambiguate Pattern Mixtures, Chapter 4 in Relevance of the Time Domain to Neural Network Models, Eds: Rao R, Cecchi G A, pp 57-74, Springer 2011</div><div>which builds up a network by adding nodes, and also introduces potential scenarios of linear dependence I described in my previous message</div><div><br></div><div>2) Achler T., Amir E., Input Feedback Networks: Classification and Inference Based on Network Structure, Artificial General Intelligence, V1: 15-26, IOS 2008. </div><div>an even older paper which discusses adding modular nodes ad infinitum and their continued contribution to the network.  This paper goes back to when I used a binary weight version which I called Input Feedback Networks and did not use the terms modular, but concepts and mathematics apply.</div><div><br></div><div>I am happy to forward the pdf copies to those who ask for them.</div><div>Video playlist: <a href="https://www.youtube.com/playlist?list=PL4nMP8F3B7bg3cNWWwLG8BX-wER2PeB-3" target="_blank">https://www.youtube.com/playlist?list=PL4nMP8F3B7bg3cNWWwLG8BX-wER2PeB-3</a></div><div><br></div><div>Sincerely,</div><div>-Tsvi</div><div><br></div></div></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Wed, Nov 10, 2021 at 12:41 AM Juyang Weng <<a href="mailto:juyang.weng@gmail.com" target="_blank">juyang.weng@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr">Dear Ali,<div><br></div><div>I agree  "localized vs. distributed" as a dichotomy is too simple, as I discussed with Asim before.</div><div><br></div><div><span style="color:rgb(0,0,0);font-family:arial,sans-serif">However, "importance of modularity" is just a slightly higher level mistake from people who worked on "neuroscience" experiments, of the same nature as the </span> "localized vs. distributed" dichotomy<span style="color:rgb(0,0,0);font-family:arial,sans-serif">.   </span>"Localized vs. distributed" is too simple; "modularity" is also too simple to be true too.   Unfortunately, neuroscientists have spent time on many experiments whose answers have already been predicted by our Developmental Networks (DN), especially DN-2.  </div><div><br></div><div>However, there is one known model that is holistic in terms of general-purpose computing.  That is Universal Turing machines, although they were not for brains to start with.   Researchers in this challenging brain subject did not seem to pay sufficient attention to the emergent Universal Turing Machine (in our Developmental Networks) as a holistic model of an entire brain.  If we look into how excitatory cells and inhibitory sells migrate and connect, as I explained in my NAI book,</div><div><a href="https://www.amazon.com/Natural-Artificial-Intelligence-Juyang-Weng/dp/0985875712" target="_blank">https://www.amazon.com/Natural-Artificial-Intelligence-Juyang-Weng/dp/0985875712</a><br></div><div>it is impossible to have brain modules as you stated.  <br><br>If we insist on our discussion on Brodmann areas, then Brodmann areas are primarily resource areas (like, not exactly the same as, registers, cash, RAM, and disks) not functional areas.   DN-1 has modules, but not functional modules, but resource modules.  DN-2 is more correct in that even the boundaries of resource modules are adaptive.  Some lower brain areas synthesize specific types of neuro-transmitters (as explained in my book above), e.g., serotonin, but such areas are still resource modules, not brain-function models.   A brain uses serotonin for many different functions.  </div><div><br></div><div>In summary, no Brodmann areas should be assigned to any specific brain functions (like edges, but resources), including lower brain areas, such as raphe nuclei (that synthesize serotonin) and hippocampus (also resources, not functions).  Your cited examples are well known and support my above fundamental view, backed up by DN as a full algorithmic model of the entire brain (not brain modules).</div><div>That is, "place cells" are a misnomer.</div><div><br></div><div>I am writing something sensitive. I hope this connectionist@cmu will not reject it.</div><div><br></div><div>Best regards,</div><div>-John</div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Tue, Nov 9, 2021 at 2:55 AM Ali Minai <<a href="mailto:minaiaa@gmail.com" target="_blank">minaiaa@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div>Asim</div><div><br></div><div>This is a perennial issue, but I don't think one should see "localized vs. distributed" as a dichotomy. Neurons (or groups of neurons) all over the brain are obviously tuned to specific things in specific contexts - place cells are an obvious example, as are the cells in orientation columns, and indeed, much of the early visual system. That's why we can decode place from hippocampal recordings in dreaming rats. But in many cases, the same cells are tuned to something else in another context (again, think of place cells). The notion of "holographically" distributed representations is a nice abstract idea but I doubt if it applies anywhere in the brain. However, any object/concept, etc., is better represented by several units (neurons, columns, hypercolumns, whatever) than by a single one, and in a way that makes these representations both modular and redundant enough to ensure robustness. Two old but still very interesting papers in this regard are:</div><div><br></div><div>
<p style="line-height:normal;margin:0pt 0in;text-indent:0in;text-align:left;direction:ltr;unicode-bidi:embed;vertical-align:baseline;word-break:normal"><span style="font-family:arial,sans-serif"><font size="2"><span style="color:rgb(0,0,0)"><span style="background-color:rgb(255,255,255)"><span style="font-variant:normal;text-transform:none;letter-spacing:0pt;font-weight:normal;font-style:normal;vertical-align:baseline">Tsunoda</span><span style="font-variant:normal;text-transform:none;letter-spacing:0pt;font-weight:normal;font-style:normal;vertical-align:baseline"> K, Yamane Y, </span><span style="font-variant:normal;text-transform:none;letter-spacing:0pt;font-weight:normal;font-style:normal;vertical-align:baseline">Nishizaki</span><span style="font-variant:normal;text-transform:none;letter-spacing:0pt;font-weight:normal;font-style:normal;vertical-align:baseline"> M,
& </span><span style="font-variant:normal;text-transform:none;letter-spacing:0pt;font-weight:normal;font-style:normal;vertical-align:baseline">Tanifuji</span><span style="font-variant:normal;text-transform:none;letter-spacing:0pt;font-weight:normal;font-style:normal;vertical-align:baseline"> M
(2001)</span></span></span></font></span><span style="font-family:arial,sans-serif"><font size="2"><span style="color:rgb(0,0,0)"><span style="background-color:rgb(255,255,255)"></span></span></font></span><span style="font-family:arial,sans-serif"><font size="2"><span style="color:rgb(0,0,0)"><span style="background-color:rgb(255,255,255)"><span style="font-variant:normal;text-transform:none;letter-spacing:0pt;font-weight:normal;font-style:normal;vertical-align:baseline"> Complex
objects are represented in macaque inferotemporal </span></span></span></font></span><span style="font-family:arial,sans-serif"><font size="2"><span style="color:rgb(0,0,0)"><span style="background-color:rgb(255,255,255)"></span></span></font></span><span style="font-family:arial,sans-serif"><font size="2"><span style="color:rgb(0,0,0)"><span style="background-color:rgb(255,255,255)"><span style="font-variant:normal;text-transform:none;letter-spacing:0pt;font-weight:normal;font-style:normal;vertical-align:baseline">cortex
by the combination of feature columns.</span></span></span></font></span><span style="font-family:arial,sans-serif"><font size="2"><span style="color:rgb(0,0,0)"><span style="background-color:rgb(255,255,255)"></span></span></font></span><span style="font-family:arial,sans-serif"><font size="2"><span style="color:rgb(0,0,0)"><span style="background-color:rgb(255,255,255)"> <span style="font-variant:normal;text-transform:none;letter-spacing:0pt;font-weight:normal;font-style:italic;vertical-align:baseline">Nat
</span><span style="font-variant:normal;text-transform:none;letter-spacing:0pt;font-weight:normal;font-style:italic;vertical-align:baseline">Neurosci</span><span style="font-variant:normal;text-transform:none;letter-spacing:0pt;font-weight:normal;font-style:normal;vertical-align:baseline"> </span><span style="font-variant:normal;text-transform:none;letter-spacing:0pt;font-weight:bold;font-style:normal;vertical-align:baseline">4</span><span style="font-variant:normal;text-transform:none;letter-spacing:0pt;font-weight:normal;font-style:normal;vertical-align:baseline">:832–838.</span></span></span></font></span><span style="font-family:arial,sans-serif"><font size="2"><span style="color:rgb(0,0,0)"><span style="background-color:rgb(255,255,255)"></span></span></font></span><span style="font-family:arial,sans-serif"><font size="2"><span style="color:rgb(0,0,0)"><span style="background-color:rgb(0,0,0)">

<span></span></span></span></font></span></p></div><div>











<p style="line-height:normal;margin:0pt 0in;text-indent:0in;text-align:left;direction:ltr;unicode-bidi:embed;vertical-align:baseline;word-break:normal"><span style="font-family:arial,sans-serif"><font size="2"><span style="color:rgb(0,0,0)"><span style="font-variant:normal;text-transform:none;letter-spacing:0pt;font-weight:normal;font-style:normal;vertical-align:baseline"><br></span></span></font></span></p><p style="line-height:normal;margin:0pt 0in;text-indent:0in;text-align:left;direction:ltr;unicode-bidi:embed;vertical-align:baseline;word-break:normal"><span style="font-family:arial,sans-serif"><font size="2"><span style="color:rgb(0,0,0)"><span style="font-variant:normal;text-transform:none;letter-spacing:0pt;font-weight:normal;font-style:normal;vertical-align:baseline">Wang,
G., Tanaka, K. & </span><span style="font-variant:normal;text-transform:none;letter-spacing:0pt;font-weight:normal;font-style:normal;vertical-align:baseline">Tanifuji</span><span style="font-variant:normal;text-transform:none;letter-spacing:0pt;font-weight:normal;font-style:normal;vertical-align:baseline"> M
(2001)<span>  </span>Optical</span></span></font></span><span style="font-family:arial,sans-serif"><font size="2"><span style="color:rgb(0,0,0)"></span></font></span><span style="font-family:arial,sans-serif"><font size="2"><span style="color:rgb(0,0,0)"><span style="font-variant:normal;text-transform:none;letter-spacing:0pt;font-weight:normal;font-style:normal;vertical-align:baseline"> imaging of functional organization in the
monkey</span></span></font></span><span style="font-family:arial,sans-serif"><font size="2"><span style="color:rgb(0,0,0)"></span></font></span><span style="font-family:arial,sans-serif"><font size="2"><span style="color:rgb(0,0,0)"><span style="font-variant:normal;text-transform:none;letter-spacing:0pt;font-weight:normal;font-style:normal;vertical-align:baseline"><span> </span>inferotemporal cortex. </span><span style="font-variant:normal;text-transform:none;letter-spacing:0pt;font-weight:normal;font-style:italic;vertical-align:baseline">Science</span><span style="font-variant:normal;text-transform:none;letter-spacing:0pt;font-weight:normal;font-style:normal;vertical-align:baseline"> </span><span style="font-variant:normal;text-transform:none;letter-spacing:0pt;font-weight:bold;font-style:normal;vertical-align:baseline">272</span><span style="font-variant:normal;text-transform:none;letter-spacing:0pt;font-weight:normal;font-style:normal;vertical-align:baseline">:1665-1668.</span></span></font></span></p><p style="line-height:normal;margin:0pt 0in;text-indent:0in;text-align:left;direction:ltr;unicode-bidi:embed;vertical-align:baseline;word-break:normal"><span style="font-family:arial,sans-serif"><font size="2"><span style="color:rgb(0,0,0)"><span style="font-variant:normal;text-transform:none;letter-spacing:0pt;font-weight:normal;font-style:normal;vertical-align:baseline"><br></span></span></font></span></p><p style="line-height:normal;margin:0pt 0in;text-indent:0in;text-align:left;unicode-bidi:embed;vertical-align:baseline;word-break:normal"><span style="font-family:arial,sans-serif"><font size="2"><span style="color:rgb(0,0,0)"><span style="font-variant:normal;text-transform:none;letter-spacing:0pt;font-weight:normal;font-style:normal;vertical-align:baseline">If there's one big lesson biologists have learned in the last 50 years, it is the importance of modularity - not in the Fodorian sense but in the sense of Herb Simon, Jordan Pollack, et al. The more we think of the brain as a complex system, the clearer the importance of modularity and synergy will become. If all other complex systems exploit multi-scale modularity and synergistic coordination to achieve all sorts of useful attributes, it's inconceivable that the brain does not. Too much of AI - including neural networks - has been oblivious to biology, and too confident in the ability of abstractions to solve very complicated problems. The only way "real" AI will be achieved is by getting much closer to biology - not just in the superficial use of brain-like neural networks, but with much deeper attention to all aspects of the biological processes that still remain the only producers to intelligence known to us. <br></span></span></font></span></p><p style="line-height:normal;margin:0pt 0in;text-indent:0in;text-align:left;unicode-bidi:embed;vertical-align:baseline;word-break:normal"><span style="font-family:arial,sans-serif"><font size="2"><span style="color:rgb(0,0,0)"><span style="font-variant:normal;text-transform:none;letter-spacing:0pt;font-weight:normal;font-style:normal;vertical-align:baseline"><br></span></span></font></span></p><p style="line-height:normal;margin:0pt 0in;text-indent:0in;text-align:left;unicode-bidi:embed;vertical-align:baseline;word-break:normal"><span style="font-family:arial,sans-serif"><font size="2"><span style="color:rgb(0,0,0)"><span style="font-variant:normal;text-transform:none;letter-spacing:0pt;font-weight:normal;font-style:normal;vertical-align:baseline">Though modular representations can lead to better explainability to a limited degree (again, think of the dreaming rat), I am quite skeptical about "explainable AI" in general. Full explainability (e.g., including explainability of motivations) implies reductionistic analysis, but true intelligence will always be emergent and, by definition, quite full of surprises. The more "explainable" we try to make AI, the more we are squeezing out exactly that emergent creativity that is the hallmark of intelligence. Of course, such a demand is fine when we are just building machine learning-based tools for driving cars or detecting spam, but that is far from true general intelligence. We will only have built true AI when the thing we have created is as mysterious to us in its purposes as our cat or our teenage child :-). But that is a whole new debate.</span></span></font></span></p><p style="line-height:normal;margin:0pt 0in;text-indent:0in;text-align:left;unicode-bidi:embed;vertical-align:baseline;word-break:normal"><span style="font-family:arial,sans-serif"><font size="2"><span style="color:rgb(0,0,0)"><span style="font-variant:normal;text-transform:none;letter-spacing:0pt;font-weight:normal;font-style:normal;vertical-align:baseline"><br></span></span></font></span></p><p style="line-height:normal;margin:0pt 0in;text-indent:0in;text-align:left;unicode-bidi:embed;vertical-align:baseline;word-break:normal"><span style="font-family:arial,sans-serif"><font size="2"><span style="color:rgb(0,0,0)"><span style="font-variant:normal;text-transform:none;letter-spacing:0pt;font-weight:normal;font-style:normal;vertical-align:baseline">The special issue sounds like an interesting idea.<br></span></span></font></span></p><p style="line-height:normal;margin:0pt 0in;text-indent:0in;text-align:left;unicode-bidi:embed;vertical-align:baseline;word-break:normal"><span style="font-family:arial,sans-serif"><font size="2"><span style="color:rgb(0,0,0)"><span style="font-variant:normal;text-transform:none;letter-spacing:0pt;font-weight:normal;font-style:normal;vertical-align:baseline"><br></span></span></font></span></p><p style="line-height:normal;margin:0pt 0in;text-indent:0in;text-align:left;unicode-bidi:embed;vertical-align:baseline;word-break:normal"><span style="font-family:arial,sans-serif"><font size="2"><span style="color:rgb(0,0,0)"><span style="font-variant:normal;text-transform:none;letter-spacing:0pt;font-weight:normal;font-style:normal;vertical-align:baseline">Cheers</span></span></font></span></p><p style="line-height:normal;margin:0pt 0in;text-indent:0in;text-align:left;unicode-bidi:embed;vertical-align:baseline;word-break:normal"><span style="font-family:arial,sans-serif"><font size="2"><span style="color:rgb(0,0,0)"><span style="font-variant:normal;text-transform:none;letter-spacing:0pt;font-weight:normal;font-style:normal;vertical-align:baseline"><br></span></span></font></span></p><p style="line-height:normal;margin:0pt 0in;text-indent:0in;text-align:left;unicode-bidi:embed;vertical-align:baseline;word-break:normal"><span style="font-family:arial,sans-serif"><font size="2"><span style="color:rgb(0,0,0)"><span style="font-variant:normal;text-transform:none;letter-spacing:0pt;font-weight:normal;font-style:normal;vertical-align:baseline">Ali</span></span></font></span></p><p style="line-height:normal;margin:0pt 0in;text-indent:0in;text-align:left;unicode-bidi:embed;vertical-align:baseline;word-break:normal"><span style="font-family:arial,sans-serif"><font size="2"><span style="color:rgb(0,0,0)"><span style="font-variant:normal;text-transform:none;letter-spacing:0pt;font-weight:normal;font-style:normal;vertical-align:baseline"><br></span></span></font></span></p></div><div><br></div><div><div><div dir="ltr"><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><b>Ali A. Minai, Ph.D.</b><br>Professor and Graduate Program Director<br>Complex Adaptive Systems Lab<br>Department of Electrical Engineering & Computer Science<br></div><div>828 Rhodes Hall<br></div><div>University of Cincinnati<br>Cincinnati, OH 45221-0030<br><br></div><div>Past-President (2015-2016)<br></div><div>International Neural Network Society<br></div><div><br>Phone: (513) 556-4783<br>Fax: (513) 556-7326<br>Email: <a href="mailto:Ali.Minai@uc.edu" target="_blank">Ali.Minai@uc.edu</a><br>          <a href="mailto:minaiaa@gmail.com" target="_blank">minaiaa@gmail.com</a><br><br>WWW: <a href="http://www.ece.uc.edu/%7Eaminai/" target="_blank">https://eecs.ceas.uc.edu/~aminai/</a></div></div></div></div></div></div></div></div></div></div></div></div></div></div><br></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Sun, Nov 7, 2021 at 2:15 PM Asim Roy <<a href="mailto:ASIM.ROY@asu.edu" target="_blank">ASIM.ROY@asu.edu</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">



<div lang="EN-US">
<div>
<p class="MsoNormal">All,<u></u><u></u></p>
<p class="MsoNormal"><u></u> <u></u></p>
<p class="MsoNormal">Amir Hussain, Editor-in-Chief, Cognitive Computation, is inviting us to do a special issue on the topics under discussion here. They could be short position papers summarizing ideas for moving forward in this field. He promised reviews
 within two weeks. If that works out, we could have the special issue published rather quickly.
<u></u><u></u></p>
<p class="MsoNormal"><u></u> <u></u></p>
<p class="MsoNormal"><span style="background:none 0% 0% repeat scroll yellow">Please email me if you are interested.</span><u></u><u></u></p>
<p class="MsoNormal"><u></u> <u></u></p>
<p class="MsoNormal">Asim Roy<u></u><u></u></p>
<p class="MsoNormal">Professor, Arizona State University<u></u><u></u></p>
<p class="MsoNormal"><a href="https://nam11.safelinks.protection.outlook.com/?url=https%3A%2F%2Furldefense.com%2Fv3%2F__https%3A%2Flifeboat.com%2Fex%2Fbios.asim.roy__%3B!!IKRxdwAv5BmarQ!JYoK0hORlllDPMK5nxG1MV8TRdHc4uGvWM3awogw4qslieKdtCnnX7G9gvkI0Xg%24&data=04%7C01%7Cminaiaa%40ucmail.uc.edu%7Cfb6eeb2f02f04eb8ba0808d9a28c2aad%7Cf5222e6c5fc648eb8f0373db18203b63%7C1%7C0%7C637719545203903472%7CUnknown%7CTWFpbGZsb3d8eyJWIjoiMC4wLjAwMDAiLCJQIjoiV2luMzIiLCJBTiI6Ik1haWwiLCJXVCI6Mn0%3D%7C3000&sdata=JdP4yxlo3TIWNkbI%2BarQqelCr4e2ErpXJN0bm2uIFw8%3D&reserved=0" target="_blank">Lifeboat Foundation Bios: Professor Asim Roy</a><u></u><u></u></p>
<p class="MsoNormal"><u></u><u></u></p>
<p class="MsoNormal"><u></u> <u></u></p>
<div style="border-color:rgb(225,225,225) currentcolor currentcolor;border-style:solid none none;border-width:1pt medium medium;padding:3pt 0in 0in">
<p class="MsoNormal"><b>From:</b> Yoshua Bengio <yoshua.bengio@mila.quebec> <br>
<b>Sent:</b> Sunday, November 7, 2021 8:55 AM<br>
<b>To:</b> Asim Roy <<a href="mailto:ASIM.ROY@asu.edu" target="_blank">ASIM.ROY@asu.edu</a>><br>
<b>Cc:</b> Adam Krawitz <<a href="mailto:akrawitz@uvic.ca" target="_blank">akrawitz@uvic.ca</a>>; <a href="mailto:connectionists@cs.cmu.edu" target="_blank">connectionists@cs.cmu.edu</a>; Juyang Weng <<a href="mailto:juyang.weng@gmail.com" target="_blank">juyang.weng@gmail.com</a>><br>
<b>Subject:</b> Re: Connectionists: Scientific Integrity, the 2021 Turing Lecture, etc.<u></u><u></u></p>
</div>
<p class="MsoNormal"><u></u> <u></u></p>
<div>
<p class="MsoNormal">Asim,<u></u><u></u></p>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal">You can have your cake and eat it too with modular neural net architectures. You still have distributed representations but you have modular specialization. Many of my papers since 2019 are on this theme. It is consistent with the specialization
 seen in the brain, but keep in mind that there is a huge number of neurons there, and you still don't see single grand-mother cells firing alone, they fire in a pattern that is meaningful both locally (in the same region/module) and globally (different modules
 cooperate and compete according to the Global Workspace Theory and Neural Workspace Theory which have inspired our work). Finally, our recent work on learning high-level 'system-2'-like representations and their causal dependencies seeks to learn 'interpretable'
 entities (with natural language) that will emerge at the highest levels of representation (not clear how distributed or local these will be, but much more local than in a traditional MLP). This is a different form of disentangling than adopted in much of the
 recent work on unsupervised representation learning but shares the idea that the "right" abstract concept (related to those we can name verbally) will be "separated" (disentangled) from each other (which suggests that neuroscientists will have an easier time
 spotting them in neural activity).<br clear="all">
<u></u><u></u></p>
<div>
<div>
<div>
<div>
<div>
<div>
<div>
<div>
<div>
<div>
<div>
<div>
<div>
<div>
<div>
<div>
<div>
<div>
<div>
<div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal">-- Yoshua<u></u><u></u></p>
</div>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal"><i><span style="font-family:"Arial Narrow",sans-serif">I'm overwhelmed by emails, so I won't be able to respond quickly or directly. Please write to my assistant in case of time sensitive matter or if it entails scheduling:
<span style="color:rgb(19,79,92)"><a href="mailto:julie.mongeau@mila.quebec" target="_blank">julie.mongeau@mila.quebec</a></span></span></i><u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
</div>
<p class="MsoNormal"><u></u> <u></u></p>
<div>
<div>
<p class="MsoNormal">Le dim. 7 nov. 2021, à 01 h 46, Asim Roy <<a href="mailto:ASIM.ROY@asu.edu" target="_blank">ASIM.ROY@asu.edu</a>> a écrit :<u></u><u></u></p>
</div>
<blockquote style="border-color:currentcolor currentcolor currentcolor rgb(204,204,204);border-style:none none none solid;border-width:medium medium medium 1pt;padding:0in 0in 0in 6pt;margin-left:4.8pt;margin-right:0in">
<div>
<div>
<p class="MsoNormal">Over a period of more than 25 years, I have had the opportunity to argue about the brain in both public forums and private discussions. And they included very well-known scholars
 such as Walter Freeman (UC-Berkeley), Horace Barlow (Cambridge; great grandson of Charles Darwin), Jay McClelland (Stanford), Bernard Baars (Neuroscience Institute), Christof Koch (Allen Institute), Teuvo Kohonen (Finland) and many others, some of whom are
 on this list. And many became good friends through these debates. <u></u><u></u></p>
<p class="MsoNormal"> <u></u><u></u></p>
<p class="MsoNormal">We argued about many issues over the years, but the one that baffled me the most was the one about localist vs. distributed representation. Here’s the issue. As far as I know, although
 all the Nobel prizes in the field of neurophysiology – from Hubel and Wiesel (simple and complex cells) and Moser and O’Keefe (grid and place cells) to the current one on discovery of temperature and touch sensitive receptors and neurons - are about finding
 “meaning” in single or a group of dedicated cells, the distributed representation theory has yet to explain these findings of “meaning.” Contrary to the assertion that the field is open-minded, I think most in this field are afraid the to cross the red line.
<u></u><u></u></p>
<p class="MsoNormal"> <u></u><u></u></p>
<p class="MsoNormal">Horace Barlow was the exception. He was perhaps the only neuroscientist who was willing to cross the red line and declare that “grandmother cells will be found.” After a debate
 on this issue in 2012, which included Walter Freeman and others, Horace visited me in Phoenix at the age of 91 for further discussion.
<u></u><u></u></p>
<p class="MsoNormal"> <u></u><u></u></p>
<p class="MsoNormal">If the field is open minded, would love to hear how distributed representation is compatible with finding “meaning” in the activations of single or a dedicated group of cells.<u></u><u></u></p>
<p class="MsoNormal"> <u></u><u></u></p>
<p class="MsoNormal">Asim Roy<u></u><u></u></p>
<p class="MsoNormal">Professor, Arizona State University<u></u><u></u></p>
<p class="MsoNormal"><a href="https://nam11.safelinks.protection.outlook.com/?url=https%3A%2F%2Furldefense.com%2Fv3%2F__https%3A%2Flifeboat.com%2Fex%2Fbios.asim.roy__%3B!!IKRxdwAv5BmarQ!JYoK0hORlllDPMK5nxG1MV8TRdHc4uGvWM3awogw4qslieKdtCnnX7G9gvkI0Xg%24&data=04%7C01%7Cminaiaa%40ucmail.uc.edu%7Cfb6eeb2f02f04eb8ba0808d9a28c2aad%7Cf5222e6c5fc648eb8f0373db18203b63%7C1%7C0%7C637719545203913471%7CUnknown%7CTWFpbGZsb3d8eyJWIjoiMC4wLjAwMDAiLCJQIjoiV2luMzIiLCJBTiI6Ik1haWwiLCJXVCI6Mn0%3D%7C3000&sdata=Eb8Gp0X0k5%2B7%2B%2BKtguNKXvWaYq1k3Lekxvzu2W5FKGc%3D&reserved=0" target="_blank">Lifeboat
 Foundation Bios: Professor Asim Roy</a><u></u><u></u></p>
<p class="MsoNormal"> <u></u><u></u></p>
<p class="MsoNormal"> <u></u><u></u></p>
<div>
<div style="border-color:rgb(225,225,225) currentcolor currentcolor;border-style:solid none none;border-width:1pt medium medium;padding:3pt 0in 0in">
<p class="MsoNormal"><b>From:</b> Connectionists <<a href="mailto:connectionists-bounces@mailman.srv.cs.cmu.edu" target="_blank">connectionists-bounces@mailman.srv.cs.cmu.edu</a>>
<b>On Behalf Of </b>Adam Krawitz<br>
<b>Sent:</b> Friday, November 5, 2021 10:01 AM<br>
<b>To:</b> <a href="mailto:connectionists@cs.cmu.edu" target="_blank">connectionists@cs.cmu.edu</a><br>
<b>Subject:</b> Re: Connectionists: Scientific Integrity, the 2021 Turing Lecture, etc.<u></u><u></u></p>
</div>
</div>
<p class="MsoNormal"> <u></u><u></u></p>
<p class="MsoNormal">Tsvi,<u></u><u></u></p>
<p class="MsoNormal"><span lang="EN-CA"> </span><u></u><u></u></p>
<p class="MsoNormal"><span lang="EN-CA">I’m just a lurker on this list, with no skin in the game, but perhaps that gives me a more neutral perspective. In the spirit of progress:</span><u></u><u></u></p>
<p class="MsoNormal"><span lang="EN-CA"> </span><u></u><u></u></p>
<ol type="1" start="1">
<li>
<span lang="EN-CA">If you have a neural network approach that you feel provides a new and important perspective on cognitive processes, then write up a paper making that argument clearly, and I think you will find that the community is incredibly open to that.
 Yes, if they see holes in the approach they will be pointed out, but that is all part of the scientific exchange. Examples of this approach include: Elman (1990) Finding Structure in Time, Kohonen (1990) The Self-Organizing Map, Tenenbaum et al. (2011) How
 to Grow a Mind: Statistics, Structure, and Abstraction (not neural nets, but a “new” approach to modelling cognition). I’m sure others can provide more examples.</span><u></u><u></u></li><li>
<span lang="EN-CA">I’m much less familiar with how things work on the applied side, but I have trouble believing that Google or anyone else will be dismissive of a computational approach that actually works. Why would they? They just want to solve problems
 efficiently. Demonstrate that your approach can solve a problem more effectively (or at least as effectively) as the existing approaches, and they will come running. Examples of this include: Tesauro’s TD-Gammon, which was influential in demonstrating the
 power of RL, and LeCun et al.’s convolutional NN for the MNIST digits.</span><u></u><u></u></li></ol>
<p class="MsoNormal"><span lang="EN-CA"> </span><u></u><u></u></p>
<p class="MsoNormal"><span lang="EN-CA">Clearly communicate the novel contribution of your approach and I think you will find a receptive audience.</span><u></u><u></u></p>
<p class="MsoNormal"><span lang="EN-CA"> </span><u></u><u></u></p>
<p class="MsoNormal"><span lang="EN-CA">Thanks,</span><u></u><u></u></p>
<p class="MsoNormal"><span lang="EN-CA">Adam</span><u></u><u></u></p>
<p class="MsoNormal"><span lang="EN-CA"> </span><u></u><u></u></p>
<p class="MsoNormal"><span lang="EN-CA"> </span><u></u><u></u></p>
<div style="border-color:rgb(225,225,225) currentcolor currentcolor;border-style:solid none none;border-width:1pt medium medium;padding:3pt 0in 0in">
<p class="MsoNormal"><b>From:</b> Connectionists <<a href="mailto:connectionists-bounces@mailman.srv.cs.cmu.edu" target="_blank">connectionists-bounces@mailman.srv.cs.cmu.edu</a>>
<b>On Behalf Of </b>Tsvi Achler<br>
<b>Sent:</b> November 4, 2021 9:46 AM<br>
<b>To:</b> <a href="mailto:gary@ucsd.edu" target="_blank">gary@ucsd.edu</a><br>
<b>Cc:</b> <a href="mailto:connectionists@cs.cmu.edu" target="_blank">connectionists@cs.cmu.edu</a><br>
<b>Subject:</b> Re: Connectionists: Scientific Integrity, the 2021 Turing Lecture, etc.<u></u><u></u></p>
</div>
<p class="MsoNormal"><span lang="EN-CA"> </span><u></u><u></u></p>
<div>
<div>
<p class="MsoNormal"><span lang="EN-CA">Lastly Feedforward methods are predominant in a large part because they have financial backing from large companies with advertising and clout like Google and
 the self-driving craze that never fully materialized.  </span><u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><span lang="EN-CA"> </span><u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><span lang="EN-CA">Feedforward methods are not fully connectionist unless rehearsal for learning is implemented with neurons.  That means storing all patterns, mixing them randomly
 and then presenting to a network to learn.  As far as I know, no one is doing this in the community, so feedforward methods are only partially connectionist.  By allowing popularity to predominate and choking off funds and presentation of alternatives we are
 cheating ourselves from pursuing other more rigorous brain-like methods.</span><u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><span lang="EN-CA"> </span><u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><span lang="EN-CA">Sincerely,</span><u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><span lang="EN-CA">-Tsvi</span><u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><span lang="EN-CA"> </span><u></u><u></u></p>
</div>
</div>
<p class="MsoNormal"><span lang="EN-CA"> </span><u></u><u></u></p>
<div>
<p class="MsoNormal"><span lang="EN-CA">On Tue, Nov 2, 2021 at 7:08 PM Tsvi Achler <<a href="mailto:achler@gmail.com" target="_blank">achler@gmail.com</a>> wrote:</span><u></u><u></u></p>
</div>
<p class="MsoNormal"><span lang="EN-CA">Gary- Thanks for the accessible online link to the book. </span><u></u><u></u></p>
<div>
<p class="MsoNormal"><span lang="EN-CA"> </span><u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><span lang="EN-CA">I looked especially at the inhibitory feedback section of the book which describes an Air Conditioner AC type feedback.  </span><u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><span lang="EN-CA">It then describes a general field-like inhibition based on all activations in the layer.  It also describes the role of inhibition in sparsity and feedforward
 inhibition,</span><u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><span lang="EN-CA"> </span><u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><span lang="EN-CA">The feedback described in Regulatory Feedback is similar to the AC feedback but occurs for each neuron individually, vis-a-vis its inputs.</span><u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><span lang="EN-CA">Thus for context, regulatory feedback is not a field-like inhibition, it is very directed based on the neurons that are activated and their inputs.  This sort
 of regulation is also the foundation of Homeostatic Plasticity findings (albeit with changes in Homeostatic regulation in experiments occurring in a slower time scale).  The regulatory feedback model describes the effect and role in recognition of those regulated
 connections in real time during recognition.</span><u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><span lang="EN-CA"> </span><u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><span lang="EN-CA">I would be happy to discuss further and collaborate on writing about the differences between the approaches for the next book or review.</span><u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><span lang="EN-CA"> </span><u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><span lang="EN-CA">And I want to point out to folks, that the system is based on politics and that is why certain work is not cited like it should, but even worse these politics
 are here in the group today and they continue to very strongly influence decisions in the connectionist community and holds us back.</span><u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><span lang="EN-CA"> </span><u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><span lang="EN-CA">Sincerely,</span><u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><span lang="EN-CA">-Tsvi</span><u></u><u></u></p>
</div>
<p class="MsoNormal"><span lang="EN-CA"> </span><u></u><u></u></p>
<div>
<p class="MsoNormal"><span lang="EN-CA">On Mon, Nov 1, 2021 at 10:59 AM
<a href="mailto:gary@ucsd.edu" target="_blank">gary@ucsd.edu</a> <<a href="mailto:gary@eng.ucsd.edu" target="_blank">gary@eng.ucsd.edu</a>> wrote:</span><u></u><u></u></p>
</div>
<div>
<div>
<p class="MsoNormal"><span style="font-size:18pt;font-family:"Times New Roman",serif" lang="EN-CA">Tsvi - While I think
<a href="https://nam11.safelinks.protection.outlook.com/?url=https%3A%2F%2Furldefense.com%2Fv3%2F__https%3A%2Fwww.amazon.com%2Fdp%2F0262650541%2F__%3B!!IKRxdwAv5BmarQ!P43fgF97h1EkMmUyqwIyGb3BiM6QvDDIayyZy_zt_11O7NVqPb6YiU7U4snDyk0%24&data=04%7C01%7Cminaiaa%40ucmail.uc.edu%7Cfb6eeb2f02f04eb8ba0808d9a28c2aad%7Cf5222e6c5fc648eb8f0373db18203b63%7C1%7C0%7C637719545203923458%7CUnknown%7CTWFpbGZsb3d8eyJWIjoiMC4wLjAwMDAiLCJQIjoiV2luMzIiLCJBTiI6Ik1haWwiLCJXVCI6Mn0%3D%7C3000&sdata=WzBcZET%2FhYQ699dS4q6fT%2BHxu11Rr5maCF9%2BqWVeiXY%3D&reserved=0" target="_blank">
Randy and Yuko's book </a>is actually somewhat better than the online version (and buying choices on amazon start at $9.99), there
<b>is</b> <a href="https://nam11.safelinks.protection.outlook.com/?url=https%3A%2F%2Furldefense.com%2Fv3%2F__https%3A%2Fcompcogneuro.org%2F__%3B!!IKRxdwAv5BmarQ!P43fgF97h1EkMmUyqwIyGb3BiM6QvDDIayyZy_zt_11O7NVqPb6YiU7UH2qn4go%24&data=04%7C01%7Cminaiaa%40ucmail.uc.edu%7Cfb6eeb2f02f04eb8ba0808d9a28c2aad%7Cf5222e6c5fc648eb8f0373db18203b63%7C1%7C0%7C637719545203923458%7CUnknown%7CTWFpbGZsb3d8eyJWIjoiMC4wLjAwMDAiLCJQIjoiV2luMzIiLCJBTiI6Ik1haWwiLCJXVCI6Mn0%3D%7C3000&sdata=KZ7%2BxRAdUGHC39R8hZpehaahxgzpQ6PmJ8cQSQmcBjQ%3D&reserved=0" target="_blank">
an online version.</a> </span><u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:18pt;font-family:"Times New Roman",serif" lang="EN-CA">Randy & Yuko's models take into account feedback and inhibition. </span><u></u><u></u></p>
</div>
</div>
<p class="MsoNormal"><span lang="EN-CA"> </span><u></u><u></u></p>
<div>
<div>
<p class="MsoNormal"><span lang="EN-CA">On Mon, Nov 1, 2021 at 10:05 AM Tsvi Achler <<a href="mailto:achler@gmail.com" target="_blank">achler@gmail.com</a>> wrote:</span><u></u><u></u></p>
</div>
<blockquote style="border-color:currentcolor currentcolor currentcolor rgb(204,204,204);border-style:none none none solid;border-width:medium medium medium 1pt;padding:0in 0in 0in 6pt;margin:5pt 0in 5pt 4.8pt">
<div>
<div>
<p class="MsoNormal"><span lang="EN-CA">Daniel,</span><u></u><u></u></p>
<div>
<p class="MsoNormal"><span lang="EN-CA"> </span><u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><span lang="EN-CA">Does your book include a discussion of Regulatory or Inhibitory Feedback published in several low impact journals between 2008 and 2014 (and in videos subsequently)?</span><u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><span lang="EN-CA">These are networks where the primary computation is inhibition back to the inputs that activated them and may be very counterintuitive given today's trends. 
 You can almost think of them as the opposite of Hopfield networks.</span><u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><span lang="EN-CA"> </span><u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><span lang="EN-CA">I would love to check inside the book but I dont have an academic budget that allows me access to it and that is a huge part of the problem with how information
 is shared and funding is allocated. I could not get access to any of the text or citations especially Chapter 4: "Competition, Lateral Inhibition, and Short-Term Memory", to weigh in.</span><u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><span lang="EN-CA"> </span><u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><span lang="EN-CA">I wish the best circulation for your book, but even if the Regulatory Feedback Model is in the book, that does not change the fundamental problem if the book
 is not readily available. </span><u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><span lang="EN-CA"> </span><u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><span lang="EN-CA">The same goes with Steve Grossberg's book, I cannot easily look inside.  With regards to Adaptive Resonance I dont subscribe to lateral inhibition as a predominant
 mechanism, but I do believe a function such as vigilance is very important during recognition and Adaptive Resonance is one of a very few models that have it.  The Regulatory Feedback model I have developed (and Michael Spratling studies a similar model as
 well) is built primarily using the vigilance type of connections and allows multiple neurons to be evaluated at the same time and continuously during recognition in order to determine which (single or multiple neurons together) match the inputs the best without
 lateral inhibition.</span><u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><span lang="EN-CA"> </span><u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><span lang="EN-CA">Unfortunately within conferences and talks predominated by the Adaptive Resonance crowd I have experienced the familiar dismissiveness and did not have an opportunity
 to give a proper talk. This goes back to the larger issue of academic politics based on small self-selected committees, the same issues that exist with the feedforward crowd, and pretty much all of academia.</span><u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><span lang="EN-CA"> </span><u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><span lang="EN-CA">Today's information age algorithms such as Google's can determine relevance of information and ways to display them, but hegemony of the journal systems and the
 small committee system of academia developed in the middle ages (and their mutual synergies) block the use of more modern methods in research.  Thus we are stuck with this problem, which especially affects those that are trying to introduce something new and
 counterintuitive, and hence the results described in the two National Bureau of Economic Research articles I cited in my previous message.</span><u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><span lang="EN-CA"> </span><u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><span style="color:black" lang="EN-CA">Thomas, I am happy to have more discussions and/or start a different thread.</span><u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><span lang="EN-CA"> </span><u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><span lang="EN-CA">Sincerely,</span><u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><span lang="EN-CA">Tsvi Achler MD/PhD</span><u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><span lang="EN-CA"> </span><u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><span lang="EN-CA"> </span><u></u><u></u></p>
</div>
</div>
<p class="MsoNormal"><span lang="EN-CA"> </span><u></u><u></u></p>
<div>
<div>
<p class="MsoNormal"><span lang="EN-CA">On Sun, Oct 31, 2021 at 12:49 PM Levine, Daniel S <<a href="mailto:levine@uta.edu" target="_blank">levine@uta.edu</a>> wrote:</span><u></u><u></u></p>
</div>
<blockquote style="border-color:currentcolor currentcolor currentcolor rgb(204,204,204);border-style:none none none solid;border-width:medium medium medium 1pt;padding:0in 0in 0in 6pt;margin:5pt 0in 5pt 4.8pt">
<div>
<div>
<p class="MsoNormal"><span style="font-size:12pt;color:black" lang="EN-CA">Tsvi,</span><u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:12pt;color:black" lang="EN-CA"> </span><u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:12pt;color:black" lang="EN-CA">While deep learning and feedforward networks have an outsize popularity, there are plenty of published sources that cover
 a much wider variety of networks, many of them more biologically based than deep learning.  A treatment of a range of neural network approaches, going from simpler to more complex cognitive functions, is found in my textbook
<i>Introduction to Neural and Cognitive Modeling</i> (3rd edition, Routledge, 2019).  Also Steve Grossberg's book
<i>Conscious Mind, Resonant Brain</i> (Oxford, 2021) emphasizes a variety of architectures with a strong biological basis.</span><u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:12pt;color:black" lang="EN-CA"> </span><u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:12pt;color:black" lang="EN-CA"> </span><u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:12pt;color:black" lang="EN-CA">Best,</span><u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:12pt;color:black" lang="EN-CA"> </span><u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:12pt;color:black" lang="EN-CA"> </span><u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:12pt;color:black" lang="EN-CA">Dan Levine</span><u></u><u></u></p>
</div>
<div class="MsoNormal" style="text-align:center" align="center"><span lang="EN-CA">
<hr width="98%" size="2" align="center">
</span></div>
<div id="gmail-m_484267408416123628gmail-m_-8430428124234980657gmail-m_-8500074692663840106gmail-m_6408132801661250155gmail-m_-1890636571007748410gmail-m_3616138767048193489gmail-m_-3636254327956913065gmail-m_5546184843627292757gmail-m_8468512456677502173gmail-m_4223774040478021040gmail-m_-3449454411413463923gmail-m_-99491911606122447gmail-m_-1743973086040584978m_-7977962918574028451m_3158366256145482305m_-7622355768744816385m_-898643676068276388gmail-m_-7809501330019106925gmail-m_8996447038276730094gmail-m_-2305817410909496922gmail-m_7665975300539281535divRplyFwdMsg">
<p class="MsoNormal"><b><span style="color:black" lang="EN-CA">From:</span></b><span style="color:black" lang="EN-CA"> Connectionists <<a href="mailto:connectionists-bounces@mailman.srv.cs.cmu.edu" target="_blank">connectionists-bounces@mailman.srv.cs.cmu.edu</a>>
 on behalf of Tsvi Achler <<a href="mailto:achler@gmail.com" target="_blank">achler@gmail.com</a>><br>
<b>Sent:</b> Saturday, October 30, 2021 3:13 AM<br>
<b>To:</b> Schmidhuber Juergen <<a href="mailto:juergen@idsia.ch" target="_blank">juergen@idsia.ch</a>><br>
<b>Cc:</b> <a href="mailto:connectionists@cs.cmu.edu" target="_blank">connectionists@cs.cmu.edu</a> <<a href="mailto:connectionists@cs.cmu.edu" target="_blank">connectionists@cs.cmu.edu</a>><br>
<b>Subject:</b> Re: Connectionists: Scientific Integrity, the 2021 Turing Lecture, etc.</span><span lang="EN-CA">
</span><u></u><u></u></p>
<div>
<p class="MsoNormal"><span lang="EN-CA"> </span><u></u><u></u></p>
</div>
</div>
<div>
<div>
<p class="MsoNormal"><span lang="EN-CA">Since the title of the thread is Scientific Integrity, I want to point out some issues about trends in academia and then especially focusing on the connectionist
 community. </span><u></u><u></u></p>
<div>
<p class="MsoNormal"><span lang="EN-CA"> </span><u></u><u></u></p>
<div>
<p class="MsoNormal"><span lang="EN-CA">In general analyzing impact factors etc the most important progress gets silenced until the mainstream picks it up <a href="https://nam11.safelinks.protection.outlook.com/?url=https%3A%2F%2Furldefense.com%2Fv3%2F__https%3A%2Fnam12.safelinks.protection.outlook.com%2F%3Furl%3Dhttps*3A*2F*2Fwww.nber.org*2Fsystem*2Ffiles*2Fworking_papers*2Fw22180*2Fw22180.pdf*3Ffbclid*3DIwAR1zHhU4wmkrHASTaE-6zwIs6gI9-FxZcCED3BETxUJlMsbN_2hNbmJAmOA%26data%3D04*7C01*7Clevine*40uta.edu*7Cb1a267e3b6a64ada666208d99ca37f6d*7C5cdc5b43d7be4caa8173729e3b0a62d9*7C1*7C0*7C637713048300122043*7CUnknown*7CTWFpbGZsb3d8eyJWIjoiMC4wLjAwMDAiLCJQIjoiV2luMzIiLCJBTiI6Ik1haWwiLCJXVCI6Mn0*3D*7C1000%26sdata%3D9o*2FzcYY8gZVZiAwyEL5SVI9TEzBWfKf7nfhdWWg8LHU*3D%26reserved%3D0__%3BJSUlJSUlJSUlJSUlJSUlJSUlJSUlJSUl!!IKRxdwAv5BmarQ!P43fgF97h1EkMmUyqwIyGb3BiM6QvDDIayyZy_zt_11O7NVqPb6YiU7UD9hRGNg%24&data=04%7C01%7Cminaiaa%40ucmail.uc.edu%7Cfb6eeb2f02f04eb8ba0808d9a28c2aad%7Cf5222e6c5fc648eb8f0373db18203b63%7C1%7C0%7C637719545203933455%7CUnknown%7CTWFpbGZsb3d8eyJWIjoiMC4wLjAwMDAiLCJQIjoiV2luMzIiLCJBTiI6Ik1haWwiLCJXVCI6Mn0%3D%7C3000&sdata=VQU9bWmSvIlc7xhOtjEydGMEMSC1fxhbatt%2BMNvYbG0%3D&reserved=0" target="_blank">Impact
 Factiors in novel research www.nber.org/.../working_papers/w22180/w22180.pdf</a>  and often this may take a generation <a href="https://nam11.safelinks.protection.outlook.com/?url=https%3A%2F%2Furldefense.com%2Fv3%2F__https%3A%2Fnam12.safelinks.protection.outlook.com%2F%3Furl%3Dhttps*3A*2F*2Fwww.nber.org*2Fdigest*2Fmar16*2Fdoes-science-advance-one-funeral-time*3Ffbclid*3DIwAR1Lodsf1bzje-yQU9DvoZE2__S6R7UPEgY1_LxZCSLdoAYnj-uco0JuyVk%26data%3D04*7C01*7Clevine*40uta.edu*7Cb1a267e3b6a64ada666208d99ca37f6d*7C5cdc5b43d7be4caa8173729e3b0a62d9*7C1*7C0*7C637713048300132034*7CUnknown*7CTWFpbGZsb3d8eyJWIjoiMC4wLjAwMDAiLCJQIjoiV2luMzIiLCJBTiI6Ik1haWwiLCJXVCI6Mn0*3D*7C1000%26sdata%3DDgxnJTT7MsN5KCzZlA7VAHKrHXVsRsYhopJv0FCwbtw*3D%26reserved%3D0__%3BJSUlJSUlJSUlJSUlJSUlJSUlJSUl!!IKRxdwAv5BmarQ!P43fgF97h1EkMmUyqwIyGb3BiM6QvDDIayyZy_zt_11O7NVqPb6YiU7UapVS1t0%24&data=04%7C01%7Cminaiaa%40ucmail.uc.edu%7Cfb6eeb2f02f04eb8ba0808d9a28c2aad%7Cf5222e6c5fc648eb8f0373db18203b63%7C1%7C0%7C637719545203943446%7CUnknown%7CTWFpbGZsb3d8eyJWIjoiMC4wLjAwMDAiLCJQIjoiV2luMzIiLCJBTiI6Ik1haWwiLCJXVCI6Mn0%3D%7C3000&sdata=9%2FevVDK3HbzdVf2LY26FLauA8%2B8vFAQ4Dj4fYD2YepM%3D&reserved=0" target="_blank">https://www.nber.org/.../does-science-advance-one-funeral...</a>  .</span><u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><span lang="EN-CA"> </span><u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><span lang="EN-CA">The connectionist field is stuck on feedforward networks and variants such as with inhibition of competitors (e.g. lateral inhibition), or other variants that
 are sometimes labeled as recurrent networks for learning time where the feedforward networks can be rewound in time.</span><u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><span lang="EN-CA"> </span><u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><span lang="EN-CA">This stasis is specifically occuring with the popularity of deep learning.  This is often portrayed as neurally plausible connectionism but requires an implausible
 amount of rehearsal and is not connectionist if this rehearsal is not implemented with neurons (see video link for further clarification).</span><u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><span lang="EN-CA"> </span><u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><span lang="EN-CA">Models which have true feedback (e.g. back to their own inputs) cannot learn by backpropagation but there is plenty of evidence these types of connections exist
 in the brain and are used during recognition. Thus they get ignored: no talks in universities, no featuring in "premier" journals and no funding. </span><u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><span lang="EN-CA"> </span><u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><span lang="EN-CA">But they are important and may negate the need for rehearsal as needed in feedforward methods.  Thus may be essential for moving connectionism forward.</span><u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><span lang="EN-CA"> </span><u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><span lang="EN-CA">If the community is truly dedicated to brain motivated algorithms, I recommend giving more time to networks other than feedforward networks.</span><u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><span lang="EN-CA"> </span><u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><span lang="EN-CA">Video: <a href="https://nam11.safelinks.protection.outlook.com/?url=https%3A%2F%2Furldefense.com%2Fv3%2F__https%3A%2Fnam12.safelinks.protection.outlook.com%2F%3Furl%3Dhttps*3A*2F*2Fwww.youtube.com*2Fwatch*3Fv*3Dm2qee6j5eew*26list*3DPL4nMP8F3B7bg3cNWWwLG8BX-wER2PeB-3*26index*3D2%26data%3D04*7C01*7Clevine*40uta.edu*7Cb1a267e3b6a64ada666208d99ca37f6d*7C5cdc5b43d7be4caa8173729e3b0a62d9*7C1*7C0*7C637713048300132034*7CUnknown*7CTWFpbGZsb3d8eyJWIjoiMC4wLjAwMDAiLCJQIjoiV2luMzIiLCJBTiI6Ik1haWwiLCJXVCI6Mn0*3D*7C1000%26sdata%3DEaEp5zLZ7HkDhsBHmP3x3ObPl8j14B8*2BFcOkkNEWZ9w*3D%26reserved%3D0__%3BJSUlJSUlJSUlJSUlJSUlJSUlJSUlJSUl!!IKRxdwAv5BmarQ!P43fgF97h1EkMmUyqwIyGb3BiM6QvDDIayyZy_zt_11O7NVqPb6YiU7UzMnNL04%24&data=04%7C01%7Cminaiaa%40ucmail.uc.edu%7Cfb6eeb2f02f04eb8ba0808d9a28c2aad%7Cf5222e6c5fc648eb8f0373db18203b63%7C1%7C0%7C637719545203943446%7CUnknown%7CTWFpbGZsb3d8eyJWIjoiMC4wLjAwMDAiLCJQIjoiV2luMzIiLCJBTiI6Ik1haWwiLCJXVCI6Mn0%3D%7C3000&sdata=wshBwOlWkcj7kxXFnQmOkMmfF1oqT39TeGgaWau%2FMPQ%3D&reserved=0" target="_blank">https://www.youtube.com/watch?v=m2qee6j5eew&list=PL4nMP8F3B7bg3cNWWwLG8BX-wER2PeB-3&index=2</a></span><u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><span lang="EN-CA"> </span><u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><span lang="EN-CA">Sincerely,</span><u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><span lang="EN-CA">Tsvi Achler</span><u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><span lang="EN-CA"> </span><u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><span lang="EN-CA"> </span><u></u><u></u></p>
</div>
</div>
</div>
<p class="MsoNormal"><span lang="EN-CA"> </span><u></u><u></u></p>
<div>
<div>
<p class="MsoNormal"><span lang="EN-CA">On Wed, Oct 27, 2021 at 2:24 AM Schmidhuber Juergen <<a href="mailto:juergen@idsia.ch" target="_blank">juergen@idsia.ch</a>> wrote:</span><u></u><u></u></p>
</div>
<blockquote style="border-color:currentcolor currentcolor currentcolor rgb(204,204,204);border-style:none none none solid;border-width:medium medium medium 1pt;padding:0in 0in 0in 6pt;margin:5pt 0in 5pt 4.8pt">
<p class="MsoNormal" style="margin-bottom:12pt"><span lang="EN-CA">Hi, fellow artificial neural network enthusiasts!<br>
<br>
The connectionists mailing list is perhaps the oldest mailing list on ANNs, and many neural net pioneers are still subscribed to it. I am hoping that some of them - as well as their contemporaries - might be able to provide additional valuable insights into
 the history of the field.<br>
<br>
Following the great success of massive open online peer review (MOOR) for my 2015 survey of deep learning (now the most cited article ever published in the journal Neural Networks), I've decided to put forward another piece for MOOR. I want to thank the many
 experts who have already provided me with comments on it. Please send additional relevant references and suggestions for improvements for the following draft directly to me at
<a href="mailto:juergen@idsia.ch" target="_blank">juergen@idsia.ch</a>:<br>
<br>
<a href="https://nam11.safelinks.protection.outlook.com/?url=https%3A%2F%2Furldefense.com%2Fv3%2F__https%3A%2Fnam12.safelinks.protection.outlook.com%2F%3Furl%3Dhttps*3A*2F*2Fpeople.idsia.ch*2F*juergen*2Fscientific-integrity-turing-award-deep-learning.html%26data%3D04*7C01*7Clevine*40uta.edu*7Cb1a267e3b6a64ada666208d99ca37f6d*7C5cdc5b43d7be4caa8173729e3b0a62d9*7C1*7C0*7C637713048300142030*7CUnknown*7CTWFpbGZsb3d8eyJWIjoiMC4wLjAwMDAiLCJQIjoiV2luMzIiLCJBTiI6Ik1haWwiLCJXVCI6Mn0*3D*7C1000%26sdata%3DmW3lH7SqKg4EuJfDwKcC2VhwEloC3ndh6kI5gfQ2Ofw*3D%26reserved%3D0__%3BJSUlJX4lJSUlJSUlJSUlJSUlJQ!!IKRxdwAv5BmarQ!P43fgF97h1EkMmUyqwIyGb3BiM6QvDDIayyZy_zt_11O7NVqPb6YiU7UNznV_Qo%24&data=04%7C01%7Cminaiaa%40ucmail.uc.edu%7Cfb6eeb2f02f04eb8ba0808d9a28c2aad%7Cf5222e6c5fc648eb8f0373db18203b63%7C1%7C0%7C637719545203953444%7CUnknown%7CTWFpbGZsb3d8eyJWIjoiMC4wLjAwMDAiLCJQIjoiV2luMzIiLCJBTiI6Ik1haWwiLCJXVCI6Mn0%3D%7C3000&sdata=J%2Fcu7KnaRG2%2FaIDlhtQ7IrO3D8nymFzrO6%2FMRT8A2RY%3D&reserved=0" target="_blank">https://people.idsia.ch/~juergen/scientific-integrity-turing-award-deep-learning.html</a><br>
<br>
The above is a point-for-point critique of factual errors in ACM's justification of the ACM A. M. Turing Award for deep learning and a critique of the Turing Lecture published by ACM in July 2021. This work can also be seen as a short history of deep learning,
 at least as far as ACM's errors and the Turing Lecture are concerned.<br>
<br>
I know that some view this as a controversial topic. However, it is the very nature of science to resolve controversies through facts. Credit assignment is as core to scientific history as it is to machine learning. My aim is to ensure that the true history
 of our field is preserved for posterity.<br>
<br>
Thank you all in advance for your help! <br>
<br>
Jürgen Schmidhuber<br>
<br>
<br>
<br>
<br>
<br>
</span><u></u><u></u></p>
</blockquote>
</div>
</div>
</div>
</blockquote>
</div>
</div>
</blockquote>
</div>
<p class="MsoNormal"><span lang="EN-CA"><br clear="all">
</span><u></u><u></u></p>
<div>
<p class="MsoNormal"><span lang="EN-CA"> </span><u></u><u></u></p>
</div>
<p class="MsoNormal"><span lang="EN-CA">--
</span><u></u><u></u></p>
<div>
<p class="MsoNormal"><span lang="EN-CA">Gary Cottrell 858-534-6640 FAX: 858-534-7029</span><u></u><u></u></p>
</div>
<div>
<p class="MsoNormal" style="margin-bottom:12pt"><span lang="EN-CA">Computer Science and Engineering 0404<br>
IF USING FEDEX INCLUDE THE FOLLOWING LINE:    <br>
CSE Building, Room 4130<br>
University of California San Diego                                      -<br>
9500 Gilman Drive # 0404<br>
La Jolla, Ca. 92093-0404</span><u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><span lang="EN-CA">Email:
<a href="mailto:gary@ucsd.edu" target="_blank">gary@ucsd.edu</a><br>
Home page: <a href="https://nam11.safelinks.protection.outlook.com/?url=https%3A%2F%2Furldefense.com%2Fv3%2F__http%3A%2Fwww-cse.ucsd.edu%2F*gary%2F__%3Bfg!!IKRxdwAv5BmarQ!P43fgF97h1EkMmUyqwIyGb3BiM6QvDDIayyZy_zt_11O7NVqPb6YiU7U-G68mLE%24&data=04%7C01%7Cminaiaa%40ucmail.uc.edu%7Cfb6eeb2f02f04eb8ba0808d9a28c2aad%7Cf5222e6c5fc648eb8f0373db18203b63%7C1%7C0%7C637719545203963435%7CUnknown%7CTWFpbGZsb3d8eyJWIjoiMC4wLjAwMDAiLCJQIjoiV2luMzIiLCJBTiI6Ik1haWwiLCJXVCI6Mn0%3D%7C3000&sdata=ZuIDqivh89yvJ4syDWTsXtIDrnd3ry1hI890%2FSLitFw%3D&reserved=0" target="_blank">
http://www-cse.ucsd.edu/~gary/</a></span><u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:9.5pt" lang="EN-CA">Schedule: <a href="https://nam11.safelinks.protection.outlook.com/?url=https%3A%2F%2Furldefense.com%2Fv3%2F__http%3A%2Ftinyurl.com%2Fb7gxpwo__%3B!!IKRxdwAv5BmarQ!P43fgF97h1EkMmUyqwIyGb3BiM6QvDDIayyZy_zt_11O7NVqPb6YiU7UcMz40H8%24&data=04%7C01%7Cminaiaa%40ucmail.uc.edu%7Cfb6eeb2f02f04eb8ba0808d9a28c2aad%7Cf5222e6c5fc648eb8f0373db18203b63%7C1%7C0%7C637719545203973431%7CUnknown%7CTWFpbGZsb3d8eyJWIjoiMC4wLjAwMDAiLCJQIjoiV2luMzIiLCJBTiI6Ik1haWwiLCJXVCI6Mn0%3D%7C3000&sdata=%2BxsOrKBZFCCkQZ%2FgRdkrZ5BizkQaMnsnBkE%2Bqfms4HA%3D&reserved=0" target="_blank">http://tinyurl.com/b7gxpwo</a></span><u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:9.5pt" lang="EN-CA"> </span><u></u><u></u></p>
</div>
<p><i><span style="font-size:11.5pt;font-family:"Book Antiqua",serif;color:black" lang="EN-CA">Listen carefully,</span></i><i><span style="font-size:14pt;font-family:"Book Antiqua",serif;color:black" lang="EN-CA"><br>
</span></i><i><span style="font-size:11.5pt;font-family:"Book Antiqua",serif;color:black" lang="EN-CA">Neither the Vedas</span></i><i><span style="font-size:14pt;font-family:"Book Antiqua",serif;color:black" lang="EN-CA"><br>
</span></i><i><span style="font-size:11.5pt;font-family:"Book Antiqua",serif;color:black" lang="EN-CA">Nor the Qur'an</span></i><i><span style="font-size:14pt;font-family:"Book Antiqua",serif;color:black" lang="EN-CA"><br>
</span></i><i><span style="font-size:11.5pt;font-family:"Book Antiqua",serif;color:black" lang="EN-CA">Will teach you this:</span></i><i><span style="font-size:14pt;font-family:"Book Antiqua",serif;color:black" lang="EN-CA"><br>
</span></i><i><span style="font-size:11.5pt;font-family:"Book Antiqua",serif;color:black" lang="EN-CA">Put the bit in its mouth,</span></i><i><span style="font-size:14pt;font-family:"Book Antiqua",serif;color:black" lang="EN-CA"><br>
</span></i><i><span style="font-size:11.5pt;font-family:"Book Antiqua",serif;color:black" lang="EN-CA">The saddle on its back,</span></i><i><span style="font-size:14pt;font-family:"Book Antiqua",serif;color:black" lang="EN-CA"><br>
</span></i><i><span style="font-size:11.5pt;font-family:"Book Antiqua",serif;color:black" lang="EN-CA">Your foot in the stirrup,</span></i><i><span style="font-size:14pt;font-family:"Book Antiqua",serif;color:black" lang="EN-CA"><br>
</span></i><i><span style="font-size:11.5pt;font-family:"Book Antiqua",serif;color:black" lang="EN-CA">And ride your wild runaway mind</span></i><i><span style="font-size:14pt;font-family:"Book Antiqua",serif;color:black" lang="EN-CA"><br>
</span></i><i><span style="font-size:11.5pt;font-family:"Book Antiqua",serif;color:black" lang="EN-CA">All the way to heaven.</span></i><u></u><u></u></p>
<p><i><span style="font-size:14pt;font-family:"Book Antiqua",serif;color:black" lang="EN-CA">-- Kabir</span></i><u></u><u></u></p>
</div>
</div>
</blockquote>
</div>
</div>
</div>

</blockquote></div>
</blockquote></div><br clear="all"><div><br></div>-- <br><div dir="ltr"><div dir="ltr">Juyang (John) Weng<br></div></div>
</blockquote></div>