<div dir="ltr"><div>Dear Danny,</div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><span style="background-color:rgb(255,255,255)">As I say in the original
 email  -  what we learn and reason about is to some extent
 constrained/shaped by the “lexicon” of symbols (and their related 
concepts) that we have already created or learned from others.   Humans 
initially developed the ability to manipulate symbolic representations 
to communicate their thoughts to each other - it
 was necessary to survive.   But then a beautiful thing happened,  we 
started using the symbols and this language of thought to 
constrain/rationalize our thinking - or at least, at the best of times 
we do so {:]).</span></blockquote><div><br></div><div>This is coming from what I'd call the "introspection" strategy for figuring out how cognition works. How do we know the above? Through introspection. We can just feel those symbolic gears turning in our own heads. Bilingual subjects report switching which language they're thinking in. Etc.</div><div><br></div><div>Despite its intuitive appeal, I'm not convinced that introspection is a reliable methodology for doing cognitive science.</div><div><br></div><div>To give an example, even within what we classify as "symbolic" things like speech, people push continuous quantities onto the channel: volume, speed, cadence, mimicry of accents, deliberately slurred utterances, facial expressions, etc. We do this even in written forms. Handwriting is more expressive than typed. Even in typeset text, people use \emph{...} and \textbf{...} and manipulate size and \raisebox{...}{...}. It's as if there are highly intricate and complex underlying continuous quantities being compressed into a mostly-quantized channel.</div><div><br></div><div>My working hypothesis would be that, even when symbolic things are happening in the brain, the discrete structures are engulfed in a cloud of associated probability distributions whose representation and manipulation dwarf, in computational terms, the tiny kernel of purely symbolic structure.</div><div><br></div><div>Cheers,</div><div><br></div><div>--Barak.</div></div><br><div class="gmail_quote gmail_quote_container"><div dir="ltr" class="gmail_attr">On Thu, 27 Aug 2026 at 02:53, Danny Silver <<a href="mailto:danny.silver@acadiau.ca">danny.silver@acadiau.ca</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">



<div>
<div dir="ltr" style="font-family:Aptos,Arial,Helvetica,sans-serif;font-size:12pt;color:rgb(0,0,0)">
Dear Barak and Hello Stephen (great to speak with you again).</div>
<div dir="ltr" style="font-family:Aptos,Arial,Helvetica,sans-serif;font-size:12pt;color:rgb(0,0,0)">
I have attached my original email below for Stephen, as the last word from the connectionist mail list was that my original email  was pending approval by the moderator.  So not sure how Stephen saw your response but perhaps not my original email.</div>
<div dir="ltr" style="font-family:Aptos,Arial,Helvetica,sans-serif;font-size:12pt;color:rgb(0,0,0)">
Anyway .. the miracles of the web.</div>
<div dir="ltr" style="font-family:Aptos,Arial,Helvetica,sans-serif;font-size:12pt;color:rgb(0,0,0)">
<br>
</div>
<div><span style="font-family:Aptos,Arial,Helvetica,sans-serif;font-size:12pt;color:rgb(0,0,0)">Barak .. I like your paraphrase - you definitely get the major idea of the paper.  </span><span style="background-color:rgb(255,255,255)">Young children
 develop conceptual representations of things like mother, food they like, asking for more, or things that scare them - long before they have symbols for these concepts.  But once they have learned such symbols (hand gestures or words) they can use them to
 communicate about these concepts to others, in albeit limited ways.   Many lower-order animals seem to function in the world very well - learning about and using concepts - without ever having need for symbols.  So symbols are not required to think, but they
 make explaining our thinking to others possible (kind of). </span></div>
<div dir="ltr" style="font-family:Aptos,Arial,Helvetica,sans-serif;font-size:12pt;color:rgb(0,0,0)">
<br>
</div>
<div><span style="font-size:16px">But please note,  there is a more subtle </span>
second<span style="font-size:16px"> idea that you may have missed.  Animals (particularly humans) who use symbols to communicate externally with each other also gained the
<b>advantage of creating an additional</b></span><span style="background-color:rgb(255,255,255)"><b> constraint (a bias) for learning and reasoning about the world</b>.  As I say in the original email  -  what we learn and reason about is to some extent
 constrained/shaped by the “lexicon” of symbols (and their related concepts) that we have already created or learned from others.   Humans initially developed the ability to manipulate symbolic representations to communicate their thoughts to each other - it
 was necessary to survive.   But then a beautiful thing happened,  we started using the symbols and this language of thought to constrain/rationalize our thinking - or at least, at the best of times we do so {:]). </span></div>
<div dir="ltr" style="font-family:Aptos,Arial,Helvetica,sans-serif;font-size:12pt">
<span style="background-color:rgb(255,255,255)"><br>
</span></div>
<div dir="ltr"><span style="font-size:16px;background-color:rgb(255,255,255)">Stephen, I can see how an ART network can develop conceptual feature representations, say for the concept <cat> from photos, before the network becomes aware of a
</span><span style="background-color:rgb(255,255,255)">symbol for <cat>, such as the spoken word “cat".   The associated recognition category may simply not have a label.   But how is this conceptual representation later bound to a symbolic representation
 for the evert symbol “cat”.  This is particularly messy when one considers there are all kinds of cats - ones you can pet, one that can eat you.</span></div>
<div><span style="background-color:rgb(255,255,255)">Perhaps through the simultaneity of both seeing a cat and also hear the word “cat”.  Hmmm … Very interesting. </span></div>
<div dir="ltr" style="font-family:Aptos,Arial,Helvetica,sans-serif;font-size:12pt;color:rgb(0,0,0)">
<br>
</div>
<div id="m_-2770284422461399157ms-outlook-mobile-signature">
<p style="margin:0cm;font-family:Calibri,sans-serif;font-size:11pt"><span style="color:black">… Danny</span></p>
<div dir="ltr" style="margin:0cm;font-family:Calibri,sans-serif;font-size:11pt;color:black">
<br>
</div>
</div>
<div id="m_-2770284422461399157mail-editor-reference-message-container">
<div dir="ltr"></div>
<div style="text-align:left;padding:3pt 0in 0in;border-width:1pt medium medium;border-style:solid none none;border-color:rgb(181,196,223) currentcolor currentcolor;font-family:Aptos;font-size:12pt;color:black">
<b>From: </b>Grossberg, Stephen <<a href="mailto:steve@bu.edu" target="_blank">steve@bu.edu</a>><br>
<b>Date: </b>Wednesday, August 26, 2026 at 3:58 PM<br>
<b>To: </b>Barak A. Pearlmutter <<a href="mailto:barak@pearlmutter.net" target="_blank">barak@pearlmutter.net</a>>, Danny Silver <<a href="mailto:danny.silver@acadiau.ca" target="_blank">danny.silver@acadiau.ca</a>><br>
<b>Cc: </b><a href="mailto:connectionists@mailman.srv.cs.cmu.edu" target="_blank">connectionists@mailman.srv.cs.cmu.edu</a> <<a href="mailto:connectionists@mailman.srv.cs.cmu.edu" target="_blank">connectionists@mailman.srv.cs.cmu.edu</a>><br>
<b>Subject: </b>Re: Connectionists: AI@50 videos...<br>
<br>
</div>
<table style="background-color:rgb(253,245,167)">
<tbody>
<tr>
<td>
<div style="font-size:10pt;color:black">
<b>CAUTION: </b>This email comes from outside Acadia. Verify the sender and use caution with any requests, links or attachments.</div>
</td>
</tr>
</tbody>
</table>
<div dir="ltr" style="font-family:Aptos,Aptos_MSFontService,-apple-system,Roboto,Arial,Helvetica,sans-serif;font-size:12pt;color:rgb(0,0,0)">
Evert recognition category provides a “ symbolic “ representation of the distributed feature pattern that it represents. A feature-category resonance links category and features into a bound state that enables conscious recognition of the features. My 2021
 OUP book explains this in detail and provides lots of experimental support for it.</div>
<div id="m_-2770284422461399157ms-outlook-mobile-body-separator-line" dir="ltr" style="font-family:Aptos,Aptos_MSFontService,-apple-system,Roboto,Arial,Helvetica,sans-serif;font-size:12pt">
<div dir="ltr" style="font-family:Aptos,Aptos_MSFontService,-apple-system,Roboto,Arial,Helvetica,sans-serif;font-size:12pt">
<br>
</div>
</div>
<div id="m_-2770284422461399157ms-outlook-mobile-signature" dir="auto" style="font-family:Aptos,Aptos_MSFontService,-apple-system,Roboto,Arial,Helvetica,sans-serif;font-size:12pt;color:rgb(0,0,0)">
<span style="font-family:Aptos,Aptos_MSFontService,-apple-system,Roboto,Arial,Helvetica,sans-serif;font-size:12pt;color:rgb(0,0,0)">Get
</span><span style="font-family:Aptos,Aptos_MSFontService,-apple-system,Roboto,Arial,Helvetica,sans-serif;font-size:12pt"><a href="https://aka.ms/o0ukef" target="_blank">Outlook
 for iOS</a></span></div>
<hr style="display:inline-block;width:98%">
<div id="m_-2770284422461399157divRplyFwdMsg" dir="ltr"><span style="font-family:Calibri,sans-serif;font-size:11pt;color:rgb(0,0,0)"><b>From:</b> Connectionists <<a href="mailto:connectionists-bounces@mailman.srv.cs.cmu.edu" target="_blank">connectionists-bounces@mailman.srv.cs.cmu.edu</a>> on behalf of Barak A. Pearlmutter <<a href="mailto:barak@pearlmutter.net" target="_blank">barak@pearlmutter.net</a>><br>
<b>Sent:</b> Wednesday, 26 August 2026 13:04:32<br>
<b>To:</b> Danny Silver <<a href="mailto:danny.silver@acadiau.ca" target="_blank">danny.silver@acadiau.ca</a>><br>
<b>Cc:</b> <a href="mailto:connectionists@mailman.srv.cs.cmu.edu" target="_blank">connectionists@mailman.srv.cs.cmu.edu</a> <<a href="mailto:connectionists@mailman.srv.cs.cmu.edu" target="_blank">connectionists@mailman.srv.cs.cmu.edu</a>><br>
<b>Subject:</b> Re: Connectionists: AI@50 videos...</span>
<div> </div>
</div>
<div style="font-size:11pt">Dear Danny,<br>
<br>
If I might paraphrase that work, it seems to me the idea is that<br>
"subsymbolic" signals are used for local processing, while symbolic<br>
representations are used for longer distance communication, with<br>
things becoming more symbolic the longer and narrower the channel:<br>
from one brain region to another, from the brain to its future self,<br>
from one brain to another.<br>
<br>
That certainly seems consistent with the information bottleneck of<br>
Tishby et al, where distributions fragment into clustered<br>
representations as the bottleneck becomes more severe.<br>
<br>
My only issue is that, if you measure things in a conventional<br>
computer doing symbol processing, the individual bits on wires can be<br>
seen as subsymbolic. What is bit 7 of register 4? What is bit 11 of<br>
the address bus? It is not until you agglomerate things just right, at<br>
just the right level of abstraction, that the crisp symbolic nature<br>
of, say, a compiler running on a simple RISC, becomes apparent. This<br>
subproblem seems to subsume the whole question, because it's basically<br>
"figure out how it all works and then we can talk about whether there<br>
are symbolic representations." This might not obviate the distinction<br>
between symbolic and subsymbolic, but I'd argue that it does make it<br>
uninteresting.<br>
<br>
Cheers,<br>
<br>
--Barak.</div>
</div>
</div>

</blockquote></div>