<div dir="ltr">Leabra is a type of Boltzmann Machine. And a Boltzmann Machine can be reduced to a single layer recurrent network, which, via intuitive application of the superposition theorem (short-circuit), inherits application of the Universal Approximation Theorem.<div><br></div><div>(If you didn't notice...just the other day... RNN's were re-christened as champ).</div><div><br></div><div>But then we have it that MNIST can be solved by hill climbing the entire corpus as the batch size with either uniform random noise added to the weights, or by using normal noise as the inputs as using SGD.</div><div><br></div><div>So it's not clear what the fuss is all about vis backpropagation. It looks pretty neat in <i>emergent</i>, though. Backpropagation+emergent is pretty much fit-for-service for lighting technicians at parties.</div><div><br></div><div>For everything else? You're just moving variance around in your "end-to-end pipeline". How am I not right? :)</div><div><br></div><div>To the victor the spoils.</div><div><br></div><div>Brian</div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Tue, Oct 8, 2024 at 12:26 PM Stephen José Hanson <<a href="mailto:jose@rubic.rutgers.edu">jose@rubic.rutgers.edu</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><u></u>




<div bgcolor="#edeac4">
<p>Yes, Jon good point here, and  although there is a through line from Hopfield to Hinton and Sejnowski.. Ie boltzmann machines and onto DL and LLMs<br>
</p>
<p>Dave of course invented BP, Geoff would always say.. his contribution was to try and talk Dave out of it as it had so many computational problems and could be in no way considered biologically plausible.</p>
<p>Steve<br>
</p>
<div>On 10/8/24 8:47 AM, Jonathan D. Cohen wrote:<br>
</div>
<blockquote type="cite">
<pre>I’d like to add, in this context, a note in memoriam of David Rumelhart, who was an integral contributor to the work honored by today’s Nobel Prize.

jdc

</pre>
</blockquote>
<pre cols="72">-- 
Stephen José Hanson
Professor, Psychology Department
Director, RUBIC (Rutgers University Brain Imaging Center)
Member, Executive Committee, RUCCS</pre>
</div>

</blockquote></div>