<div dir="ltr">I'm probably preaching to at least some of the choir here, I don't think we should be too beholden to the brain when we're developing software models to simulate some of the things it does. It honestly seems way too complicated. And I'd like to offer some software development-inspired intuitions about why I feel that way. In software engineering, you always want to be working at a high level of generality, and avoiding special cases whenever possible. They complicate the code unnecessarily, make it harder to maintain or reproduce in the future, and make it less clear for others to understand. Simplicity is crucial for the sustainability of software, and I would posit this is highly relevant for life, as well.<div>

<br>The reason why I think simulating the brain is hard is because our brain gives us a general mechanism for solving problems, but at every point along the way evolution has sneaked in a bunch of special cases. If the input is a snake, respond in the following way. If the input is an attractive-ish person, respond in this other manner, etc etc. These extra logic branches complicate any efforts to model cognition in a useful manner.<br>

<br>Human nature is filled with such an inestimable amount of baggage that figuring out something very general like the process by which we learn to abstract from examples seems impossible just from examining the brain, no matter how well we learn to subdivide its regions. We have all this specific machinery for recognizing and responding to specific things, and it seems extraordinarily difficult to fully isolate any of those systems from the rest. Any individual brain too might have its own peculiarities; you'd have to examine a whole bunch and figure out principle components to have any real basis for understanding what you see.<br>

<br>But I think the brain has to be simple. We could not possibly survive and reproduce so reliably were it not. The biological underpinnings of cognition have to be super robust against the efforts of entropy to introduce randomness into our progeny, and that robustness can only come with a simplicity that I think must be (computationally) tractable. <br>

<br>This is why I am sympathetic to efforts that use the brain for inspiration (figuratively), but don't try to actually emulate it. No, we will not be producing anything resembling a human intelligence this way, and there may be certain things we find it easy to recognize because of hardwiring that a simplified machine would have a more difficult time with -- but we know that even people with intense brain damage can find pretty astounding workarounds. The ability to abstract is the ultimate workaround, and it's what allows us to survive even if some of those crucial special cases we have baked in fail to get transmitted to the next generation.<br>

<br>The goal is not to simulate a human being; I don't want a program that will love, worry as much as I do, or be at all influenced by the belief that it possesses an elbow. Instead I want a machine that is capable of recognizing cats, and possibly forming a more general concepts of "animals" which can be distinguished from pictures of trees or jars of mustard. And beyond pictures, I want a computer program that can begin to understand relations like "this thing is inside this other thing" and be able to identify even very general similarities between different inputs, divorced as much as possible from the specificities of the modality of input it receives.<br>

<br>I recognize that's far off, but I feel like we should be focusing on generalization, and how we can simulate some of the most fundamental mechanisms of cognition, without getting hung up on, you know, our actual field of study.</div>

<div><br></div><div>Andrew</div></div><div class="gmail_extra"><br><br><div class="gmail_quote">On Mon, Feb 10, 2014 at 6:56 PM, Gary Marcus <span dir="ltr"><<a href="mailto:gary.marcus@nyu.edu" target="_blank">gary.marcus@nyu.edu</a>></span> wrote:<br>

<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div style="word-wrap:break-word"><br><div><div class=""><div>On Feb 10, 2014, at 4:51 PM, Brian J Mingus <<a href="mailto:brian.mingus@colorado.edu" target="_blank">brian.mingus@colorado.edu</a>> wrote:</div>

<br><blockquote type="cite"><div class="gmail_extra" style="font-family:Helvetica;font-size:12px;font-style:normal;font-variant:normal;font-weight:normal;letter-spacing:normal;line-height:normal;text-align:start;text-indent:0px;text-transform:none;white-space:normal;word-spacing:0px">

That said, evolution is a blind designer. A human being can out-design billions of years of evolution in a few years with nice supercomputer and plenty of lab subjects. So, if your goal is to understand exactly what a human being is, you might study human development. But if your goal is to create something more sophisticated than a human without the annoyance of studying exactly how a human develops intelligence</div>

</blockquote></div>[a reasonable goal, depending on your research program]</div><div class=""><div><br><blockquote type="cite"><div class="gmail_extra" style="font-family:Helvetica;font-size:12px;font-style:normal;font-variant:normal;font-weight:normal;letter-spacing:normal;line-height:normal;text-align:start;text-indent:0px;text-transform:none;white-space:normal;word-spacing:0px">

, you might use deep networks with pretraining that automatically extract features that evolution baked in.</div><br></blockquote></div><br></div><div>the key question is whether extracting features is, in itself, enough to replicate (or even better) the blind handiwork of evolution. my own guess is “absolutely not”.  Evolution has a done a fine job with evo-crafting features — which deep networks might plausibly hope to match—  but that there’s a lot of highly-selected circuitry <i>downstream</i> that probably cannot readily be captured through the mere acquisition of hierarchies of features. </div>

<div><br></div><div>On the left is a figure from <a href="http://www.frontiersin.org/Journal/10.3389/fnana.2011.00065/full" target="_blank">Solari and Stoner</a>’s magnificent cognitive consilience <a href="http://www.frontiersin.org/files/cognitiveconsilience/index.html" target="_blank">diagram</a>, which I encourage all students of cortical neuroscience to contemplate (click to zoom in). On the right is a figure representing Google’s cat detector, a state of the art unsupervised learner, yet still no match for humans when it comes to invariance or in the use of top-down visual information. Is the one on the right genuinely a useful approximation of the one of the left?</div>

<div> </div><div>In my own view there is an impedance mismatch between most current models and the intricacy of biological reality. </div><div><br></div><div>Cheers,</div><div>Gary </div><div><br></div><div><div style="margin:0px">

<div style="margin:0px"><a href="http://www.frontiersin.org/files/cognitiveconsilience/index.html" target="_blank"><img height="308" width="436" src="cid:9B4EC889-CC32-4042-A3C6-12B1246F85C5@home"></a>     <img height="300" width="359" src="cid:616507F4-F416-4141-BEF9-53EAE97AE870@home"></div>

<div style="margin:0px"><br></div><div style="margin:0px"> </div><div style="margin:0px"><br></div></div></div></div></blockquote></div><br></div>