<html xmlns:v="urn:schemas-microsoft-com:vml" xmlns:o="urn:schemas-microsoft-com:office:office" xmlns:w="urn:schemas-microsoft-com:office:word" xmlns:m="http://schemas.microsoft.com/office/2004/12/omml" xmlns="http://www.w3.org/TR/REC-html40">
<head>
<meta http-equiv="Content-Type" content="text/html; charset=us-ascii">
<meta name="Generator" content="Microsoft Word 14 (filtered medium)">
<style><!--
/* Font Definitions */
@font-face
        {font-family:"Cambria Math";
        panose-1:2 4 5 3 5 4 6 3 2 4;}
@font-face
        {font-family:Calibri;
        panose-1:2 15 5 2 2 2 4 3 2 4;}
@font-face
        {font-family:Tahoma;
        panose-1:2 11 6 4 3 5 4 4 2 4;}
/* Style Definitions */
p.MsoNormal, li.MsoNormal, div.MsoNormal
        {margin:0in;
        margin-bottom:.0001pt;
        font-size:12.0pt;
        font-family:"Times New Roman","serif";}
a:link, span.MsoHyperlink
        {mso-style-priority:99;
        color:blue;
        text-decoration:underline;}
a:visited, span.MsoHyperlinkFollowed
        {mso-style-priority:99;
        color:purple;
        text-decoration:underline;}
p.MsoAcetate, li.MsoAcetate, div.MsoAcetate
        {mso-style-priority:99;
        mso-style-link:"Balloon Text Char";
        margin:0in;
        margin-bottom:.0001pt;
        font-size:8.0pt;
        font-family:"Tahoma","sans-serif";}
span.BalloonTextChar
        {mso-style-name:"Balloon Text Char";
        mso-style-priority:99;
        mso-style-link:"Balloon Text";
        font-family:"Tahoma","sans-serif";}
span.EmailStyle19
        {mso-style-type:personal-reply;
        font-family:"Calibri","sans-serif";
        color:#1F497D;}
.MsoChpDefault
        {mso-style-type:export-only;
        font-family:"Calibri","sans-serif";}
@page WordSection1
        {size:8.5in 11.0in;
        margin:1.0in 1.0in 1.0in 1.0in;}
div.WordSection1
        {page:WordSection1;}
--></style><!--[if gte mso 9]><xml>
<o:shapedefaults v:ext="edit" spidmax="1026" />
</xml><![endif]--><!--[if gte mso 9]><xml>
<o:shapelayout v:ext="edit">
<o:idmap v:ext="edit" data="1" />
</o:shapelayout></xml><![endif]-->
</head>
<body lang="EN-US" link="blue" vlink="purple">
<div class="WordSection1">
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1F497D">Hi Brian,<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1F497D"><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1F497D">Take tea tasters for example.  The abstract category and pricing system in their heads is mainly based on taste and fragrance. So yes, some of these abstract
 concepts could be based on just one of the senses if that’s what you mean. I have a paper under review with the title:<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1F497D"><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1F497D">“</span><span style="font-size:11.0pt;font-family:"Calibri","sans-serif"">A theory of the brain: The most compact and easily accessible form of semantic knowledge
 exists in networks of abstract concept and category cells.”<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif""><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1F497D">Here is one of the concluding paragraphs from that paper:<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif""><o:p> </o:p></span></p>
<p class="MsoNormal" style="text-autospace:none"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif"">“</span>There is obviously an efficiency aspect to storage of semantic information at this abstract level. It provides easy and quick access to
 cognitive-level information, information that is directly interpretable and has meaning at a higher level of thought. The physical embodiment of cognitive level information within a set of abstract concept cells makes cognition and thought very real and easily
 tractable within the brain. Thus simplification, concreteness, automation and computational efficiency are the key advantages of semantic knowledge stored at the abstract level.”
<o:p></o:p></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif""><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1F497D">So compact semantic networks in the IT cortex and elsewhere are entirely feasible, although they are built in a bottom-up fashion based on what we learn over
 time. You are talking about a top-down process. To build artificial systems, you can justify a top-down process.
<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1F497D"><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1F497D">A semantic network based on abstract concepts has plenty of neurophysiological evidence. Just think of place cells for navigation (which are, of course, abstract
 concept cells) and how they might be connected.<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1F497D"><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1F497D">Asim<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1F497D"><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1F497D"><o:p> </o:p></span></p>
<p class="MsoNormal"><b><span style="font-size:10.0pt;font-family:"Tahoma","sans-serif"">From:</span></b><span style="font-size:10.0pt;font-family:"Tahoma","sans-serif""> Brian J Mingus [mailto:brian.mingus@Colorado.EDU]
<br>
<b>Sent:</b> Thursday, March 13, 2014 7:49 PM<br>
<b>To:</b> Asim Roy<br>
<b>Cc:</b> Juyang Weng; connectionists@mailman.srv.cs.cmu.edu<br>
<b>Subject:</b> [SPAM]Re: [SPAM]Re: [SPAM]Re: Connectionists: how the brain works?<o:p></o:p></span></p>
<p class="MsoNormal"><o:p> </o:p></p>
<div>
<div>
<p class="MsoNormal">Hi Asim,<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<p class="MsoNormal">Abstract concepts such as "bird" do not need to be defined in terms of what birds look like or sound like, but can be defined in terms of what they feel like or smell like. This is the embodied perspective. More generally, though, we can
 define a bird in terms of other things, despite never having experienced them. While it seems hard to argue that some kind of embodied interaction with the world is necessary for intelligence, I can't personally argue that any specific sensory modality is
 required. As indicated by Hellen Keller, only smell and touch and taste are required, and probably just one of those is required (principally touch), but I could see smell and taste working as well.<o:p></o:p></p>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<p class="MsoNormal">For this reason, we can skip object recognition and jump straight to IT cortex, where we find object invariant representations, and perhaps network representations of meaning akin to Latent Semantic Analysis.<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<p class="MsoNormal">Indeed, perhaps a mind that has a coherent semantic network manually pre-trained in IT cortex and elsewhere can skip embodiment altogether, and jump straight to intelligence (assuming the rest of the architecture is coherent).<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<p class="MsoNormal">This would not be unlike a sensory deprivation chamber. If you never had the senses in the first place, it wouldn't be deprivation. It would just be thinking and feeling.<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<p class="MsoNormal">Brian<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
<div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
</div>
</div>
<div>
<p class="MsoNormal" style="margin-bottom:12.0pt"><o:p> </o:p></p>
<div>
<p class="MsoNormal">On Thu, Mar 13, 2014 at 8:36 PM, Asim Roy <<a href="mailto:ASIM.ROY@asu.edu" target="_blank">ASIM.ROY@asu.edu</a>> wrote:<o:p></o:p></p>
<div>
<div>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1F497D">Brian,</span><o:p></o:p></p>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1F497D"> </span><o:p></o:p></p>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1F497D">I did not mean infinite abstraction. But higher level complex abstractions are definitely part of
 the architecture.</span><o:p></o:p></p>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1F497D"> </span><o:p></o:p></p>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1F497D">Asim</span><o:p></o:p></p>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1F497D"> </span><o:p></o:p></p>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto"><b><span style="font-size:10.0pt;font-family:"Tahoma","sans-serif"">From:</span></b><span style="font-size:10.0pt;font-family:"Tahoma","sans-serif""> Brian J Mingus [mailto:<a href="mailto:brian.mingus@Colorado.EDU" target="_blank">brian.mingus@Colorado.EDU</a>]
<br>
<b>Sent:</b> Thursday, March 13, 2014 7:31 PM<br>
<b>To:</b> Asim Roy<br>
<b>Cc:</b> Juyang Weng; <a href="mailto:connectionists@mailman.srv.cs.cmu.edu" target="_blank">
connectionists@mailman.srv.cs.cmu.edu</a><br>
<b>Subject:</b> [SPAM]Re: [SPAM]Re: Connectionists: how the brain works?</span><o:p></o:p></p>
<div>
<div>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto"> <o:p></o:p></p>
<div>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto">Asim,<o:p></o:p></p>
<div>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto"> <o:p></o:p></p>
</div>
<div>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto">Abstraction alone does not result in a being capable of language comprehension and production. For evidence, you can look at the variety of aphasias. It's clear that a very specific
 evolved architecture underlies language, and it is not just infinite abstraction that results in a single neuron that is invariant to everything (reductio ad absurdum).<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto"> <o:p></o:p></p>
</div>
<div>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto">Responding specifically to John, claiming that the "first principle" of brain function is object recognition doesn't really seem to be justifiable. I can just as easily argue that
 we should start with the architecture underlying language or executive functioning, and then add in more details only as needed until the model passes my intelligence tests (i.e., reinventing consciousness philosophy).<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto"> <o:p></o:p></p>
</div>
<div>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto">Brian<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto"> <o:p></o:p></p>
</div>
<div>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto"> <o:p></o:p></p>
</div>
</div>
<div>
<p class="MsoNormal" style="mso-margin-top-alt:auto;margin-bottom:12.0pt"> <o:p></o:p></p>
<div>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto">On Thu, Mar 13, 2014 at 8:17 PM, Asim Roy <<a href="mailto:ASIM.ROY@asu.edu" target="_blank">ASIM.ROY@asu.edu</a>> wrote:<o:p></o:p></p>
<div>
<div>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1F497D">There is plenty of neurophysiological evidence that abstractions are used in the brain – from the
 lowest (line orientation and other feature detector cells) to the highest levels (multimodal object recognition, complex abstract cells, place cells). Here are some references:</span><o:p></o:p></p>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1F497D"> </span><o:p></o:p></p>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1F497D"><a href="http://journal.frontiersin.org/Journal/10.3389/fpsyg.2012.00551/full" target="_blank">A
 theory of the brain: localist representation is used widely in the brain</a></span><o:p></o:p></p>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1F497D"> </span><o:p></o:p></p>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1F497D"><a href="http://journal.frontiersin.org/Journal/10.3389/fpsyg.2013.00300/full" target="_blank">An
 extension of the localist representation theory: grandmother cells are also widely used in the brain</a></span><o:p></o:p></p>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1F497D"> </span><o:p></o:p></p>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1F497D">Asim Roy</span><o:p></o:p></p>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1F497D">Arizona State University</span><o:p></o:p></p>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1F497D"><a href="http://lifeboat.com/ex/bios.asim.roy" target="_blank">http://lifeboat.com/ex/bios.asim.roy</a></span><o:p></o:p></p>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1F497D"> </span><o:p></o:p></p>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1F497D"> </span><o:p></o:p></p>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto"><b><span style="font-size:10.0pt;font-family:"Tahoma","sans-serif"">From:</span></b><span style="font-size:10.0pt;font-family:"Tahoma","sans-serif""> Connectionists [mailto:<a href="mailto:connectionists-bounces@mailman.srv.cs.cmu.edu" target="_blank">connectionists-bounces@mailman.srv.cs.cmu.edu</a>]
<b>On Behalf Of </b>Brian J Mingus<br>
<b>Sent:</b> Thursday, March 13, 2014 6:41 PM<br>
<b>To:</b> Juyang Weng<br>
<b>Cc:</b> <a href="mailto:connectionists@mailman.srv.cs.cmu.edu" target="_blank">
connectionists@mailman.srv.cs.cmu.edu</a><br>
<b>Subject:</b> [SPAM]Re: Connectionists: how the brain works?</span><o:p></o:p></p>
<div>
<div>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto"> <o:p></o:p></p>
<div>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto">Hi John,<o:p></o:p></p>
<div>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto"> <o:p></o:p></p>
</div>
<div>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto">Theories of the brain will come in at multiple levels of abstraction. A reasonable first pass is to take object recognition as a given. It's clear that language and general intelligence
 doesn't require it. Hellen Keller is a great example - deaf and blind, and with patience, extremely intelligent. Visual and auditory object recognition simply aren't required! <o:p></o:p></p>
</div>
<div>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto"> <o:p></o:p></p>
</div>
<div>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto">Brian<o:p></o:p></p>
<div>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto"> <o:p></o:p></p>
</div>
<div>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto"> <o:p></o:p></p>
</div>
</div>
</div>
<div>
<p class="MsoNormal" style="mso-margin-top-alt:auto;margin-bottom:12.0pt"> <o:p></o:p></p>
<div>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto">On Thu, Mar 13, 2014 at 6:38 PM, Juyang Weng <<a href="mailto:weng@cse.msu.edu" target="_blank">weng@cse.msu.edu</a>> wrote:<o:p></o:p></p>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto">Danko,<br>
<br>
Good attempt.<br>
<br>
Any theory about brain/mind must address the First Principle:  How it learns visual invariance directly from natural cluttered environments.<br>
Your article does not seem to address the First Principle, does it?<br>
<br>
-John<o:p></o:p></p>
<div>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto"><br>
<br>
On 3/7/14 11:22 AM, Danko Nikolic wrote:<o:p></o:p></p>
<p class="MsoNormal" style="mso-margin-top-alt:auto;margin-bottom:12.0pt">I believe that the readers of Connectionists list my be interested in the manuscript available on arXiv (1402.5332) proposing the principles by which adaptive systems create intelligent
 behavior. It is a theoretical paper that has been recently submitted to a journal, and the editors agreed to post it on arXiv.<br>
<br>
A nice context for this manuscript is, I think, the recent discussion on Connectionists list on "how the brain works?", -- including the comparison to how the radio works, arguments that neuroscience has not reached the maturity of 19th century physics, that
 the development should be an essential component, etc.<br>
<br>
I assess that anyone who enjoyed following that discussion, like I did, would be interested also in what the proposed theory has to say.<br>
<br>
The theory addresses those problems by placing the question of brain workings one level more abstract than it is usually discussed: It proposes a general set of properties that adaptive systems need to have to exhibit intelligent behavior (nevertheless, concrete
 examples are given from biology and technology). Finally, the theory proposes what is, in principle, missing in the current approaches in order to account for the higher, biological-like levels of adaptive behavior.<br>
<br>
For those who are interested, I recommend using the link on my website:<br>
<br>
<a href="http://www.danko-nikolic.com/practopoiesis/" target="_blank">http://www.danko-nikolic.com/practopoiesis/</a><br>
<br>
because there I provided, in addition, a simplified introduction into some of the main conclusions derived from the theory.<br>
<br>
I would very much like to know what people think. Comments will be appreciated.<br>
<br>
With warm greetings from Germany,<br>
<br>
Danko Nikolic<o:p></o:p></p>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto"><br>
-- <o:p></o:p></p>
</div>
<p class="MsoNormal" style="mso-margin-top-alt:auto;margin-bottom:12.0pt">--<br>
Juyang (John) Weng, Professor<br>
Department of Computer Science and Engineering<br>
MSU Cognitive Science Program and MSU Neuroscience Program<br>
428 S Shaw Ln Rm 3115<br>
Michigan State University<br>
East Lansing, MI 48824 USA<br>
Tel: <a href="tel:517-353-4388" target="_blank">517-353-4388</a><br>
Fax: <a href="tel:517-432-1061" target="_blank">517-432-1061</a><br>
Email: <a href="mailto:weng@cse.msu.edu" target="_blank">weng@cse.msu.edu</a><br>
URL: <a href="http://www.cse.msu.edu/~weng/" target="_blank">http://www.cse.msu.edu/~weng/</a><br>
----------------------------------------------<o:p></o:p></p>
</div>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto"> <o:p></o:p></p>
</div>
</div>
</div>
</div>
</div>
</div>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto"> <o:p></o:p></p>
</div>
</div>
</div>
</div>
</div>
</div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
</div>
</div>
</body>
</html>