<div dir="ltr"><div>Paul</div><div><br></div><div>Thank you for what I think is one of the most insightful critiques of LLMs that I have seen on this - or any - thread. We keep forgetting that intelligence is fundamentally a *biological* phenomenon, not a computational one, though, of course, we can choose to see biological phenomena in the framework of computation. The function of intelligence and all its components - pattern recognition, understanding, inference, reasoning - is ultimately grounded in its contribution to the survival of the animal, and that is - as you argue - the source of meaning. By turning linguistic expression into a symbol generating computational process rather than a purposive biological process, what we get is, at best, a very convincing simulacrum of intelligent expression grounded in text (and code), not reality. And, like all simulacra, it breaks down absurdly when it reaches the limits of its shallow grounding. In contrast, when animal intelligence breaks down - and it does - it is in ways consistent with reality and, therefore, understandable. After all, the animal is not expressing itself based on a superficial representation created from a data corpus of one or two modalities, but from its completely multimodal, continual, and always-integrated experience of reality. That is the reason why causality is built into its intelligence - it reflects the causality of the real world. That is also why is can move "out of sample" much more gracefully because, barring black swan events, even novel experiences are seamlessly connected with its prior experiences.</div><div><br></div><div>A key point in all this is the fact that the animal's intelligence is not based on priors configured just from a dataset, but those configured by a deep hierarchy of processes: Evolution, development, and learning, leading to real-time adaptive emergent behaviors some of which in complex animals such as humans are immensely creative. It's the perceptual-cognitive-behavioral capacity shaped by this deep adaptive hierarchy that enables animals to produce complex behavior (including linguistic expression) that we se as intelligent. In contrast, we wish to train initially naive systems such as randomly initialized neural networks to acquire this capacity purely by being trained on data that is itself not reality but only a derivative of it. The fact that something like ChatGPT can achieve what it has in this situation is amazing, and, I believe, does tell us something about human language. But it is not even close to forming the kernel of a true intelligence in the natural sense. Now, if we were to embed something like a multimodal and much larger version of ChatGPT into a carefully designed robot (to mimic the evolutionary aspect), and allow it to learn in stages like animals do (to mimic the developmental part), things could get very interesting. We probably would not want such robots to do their learning out in the real world, so perhaps very strong VR would have to be part of this scenario. All this, of course, only if we want to produce such autonomous beings and loose them upon the world. One thing is certain, though: If we do end up building such systems, we should not expect them to be perfectly obedient, predictable, or transparent. Those things are just not compatible with real intelligence.</div><div><br></div><div>Ali<br></div><div><br></div><div><br></div><div><br></div><div><div><div dir="ltr" class="gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><b>Ali A. Minai, Ph.D.</b><br>Professor and Graduate Program Director<br>Complex Adaptive Systems Lab<br>Department of Electrical & Computer Engineering<br></div><div>828 Rhodes Hall<br></div><div>University of Cincinnati<br>Cincinnati, OH 45221-0030</div><div><br>Phone: (513) 556-4783<br>Fax: (513) 556-7326<br>Email: <a href="mailto:Ali.Minai@uc.edu" target="_blank">Ali.Minai@uc.edu</a><br>          <a href="mailto:minaiaa@gmail.com" target="_blank">minaiaa@gmail.com</a><br><br>WWW: <a href="http://www.ece.uc.edu/%7Eaminai/" target="_blank">https://eecs.ceas.uc.edu/~aminai/</a></div></div></div></div></div></div></div></div></div></div></div></div></div></div><br></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Fri, Mar 24, 2023 at 11:36 AM Paul Cisek <<a href="mailto:paul.cisek@umontreal.ca">paul.cisek@umontreal.ca</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div class="msg1664015794227061116">





<div style="overflow-wrap: break-word;" lang="EN-US">
<div class="m_1664015794227061116WordSection1">
<p class="MsoNormal"><span style="font-size:11pt;font-family:"Calibri",sans-serif" lang="EN-CA">I must admit that it’s quite intimidating to be disagreeing with Geoff Hinton, whom I’ve admired for so many years… But it’s just a difference of opinion, so here
 goes:<u></u><u></u></span></p>
<p class="MsoNormal"><span style="font-size:11pt;font-family:"Calibri",sans-serif" lang="EN-CA"><u></u> <u></u></span></p>
<p class="MsoNormal"><span style="font-size:11pt;font-family:"Calibri",sans-serif" lang="EN-CA">I was not suggesting there is something special about people. In fact, it’s rather the opposite: I think that the similarity between human and animal brains/behaviors
 strongly suggests that whatever our kind of intelligence involves is actually based on fundamental processes that we share with many animals, but not with LLMs. One critical issue is related to the question of meaning.<u></u><u></u></span></p>
<p class="MsoNormal"><span style="font-size:11pt;font-family:"Calibri",sans-serif" lang="EN-CA"><u></u> <u></u></span></p>
<p class="MsoNormal"><span style="font-size:11pt;font-family:"Calibri",sans-serif" lang="EN-CA">The brain is not a general information processing system whose task is to produce an output given an input. It’s a more specific thing: a control system that controls
 its input via output through the environment. It establishes adaptive closed-loop interaction with a complex world by complementing the dynamics of that world in such a way that the resulting animal-environment system tends toward states that are desirable
 for the animal (i.e., being well fed, not under threat, etc.). This could involve all kinds of internal variables that covary with the external world, in some cases simply because they are dynamically coupled with the world, and in some cases because they
 capture generalizable information about that world (i.e. what we might call “knowledge”). Obviously, adaptive behavior is the whole point of having a brain, so I doubt anyone would really argue with this point… except perhaps to say that it is trivial and
 you’ve heard it all before.<u></u><u></u></span></p>
<p class="MsoNormal"><span style="font-size:11pt;font-family:"Calibri",sans-serif" lang="EN-CA"><u></u> <u></u></span></p>
<p class="MsoNormal"><span style="font-size:11pt;font-family:"Calibri",sans-serif" lang="EN-CA">Sure, it’s trivial and obvious, but it has some important implications worth repeating. In particular, certain interactions are meaningful for the organism in
 that they positively or negatively influence its state. Ingesting food reduces hunger, running away from a predator reduces danger, etc. You could say we can adaptively control our state because of the predictable consistency of the world in which we live,
 which we can use to our advantage. For this reason certain actions we perform, and certain sensory information we use to select among and to guide those actions, have meaning to us. Well it’s the same for communication. When in the presence of complex creatures,
 we can control our state via sounds or gestures, because those sounds or gestures can reliably persuade those complex creatures to act in a way that benefits us. Consider a human infant that cannot accomplish much on its own. Fortunately, it so happens that
 in the niche of helpless human infants there is something called a parent, which has the handy properties of being incredibly complex but also very easy for the infant to control. The baby cries and the parent rushes over to figure out and fix whatever is
 the problem, whether this involves getting some milk or driving at high speed to a hospital. With time, the baby can learn to make different noises to produce different outcomes via the parent, and in fact the parent will deliberately help the baby learn which
 noises make the parent bring it food versus water versus changing the diaper, etc. Throughout, the real purpose of making the noises is not to convey knowledge but to persuade. Animals do this all the time, from the threat postures of crayfish to monkeys baring
 their teeth to humans uttering “back off!”. The important point here is that the meaning is not in the syntax of a given utterance, but in the interaction that the utterance is likely to induce in those who speak the same language, and the desired consequence
 of that interaction. The words are just a kind of “shorthand notation” for the meaningful interactions, and they are compact and “symbolic” because the complex external agent will handle the details of implementing the interaction. Human language takes this
 to extremes of abstraction, but the fundamental context of control is still there. Even this type of “philosophical” discussion is an example of my attempt at persuasion.<u></u><u></u></span></p>
<p class="MsoNormal"><span style="font-size:11pt;font-family:"Calibri",sans-serif" lang="EN-CA"><u></u> <u></u></span></p>
<p class="MsoNormal"><span style="font-size:11pt;font-family:"Calibri",sans-serif" lang="EN-CA">So is there anything like that in LLMs? To my understanding, no, because what LLMs learn to produce are just the words themselves without connection to the meaningful
 interactions for which those words are mere shorthand notation. The data on which LLMs are trained is text that is meaningful to the humans who produced it, and for that reason the text has a particular structure that follows from the meaningful interactions
 the humans were talking about (e.g. causes precede effects, paragraphs stay on topic, certain things get repeated, etc.). With enough training, the LLM can capture that structure by factoring out the interactions among the discrete symbols and clusters of
 symbols, and produce utterances that mimic it by applying those same kinds of patterns at multiple scales (phrases, sentences, paragraphs, and even writing style). But the actual semantic content is always outside of the system. The human who reads the text
 produced by the LLM will be able to guess at the original meaning that the words refer to (and will be predisposed to ascribe intention and purpose to the LLM), but the system itself has no access to that. In short: The meaning to which the words refer is
 understood by the humans who produced the training text, and by the humans who read the transformed text, but the transformer of the text itself never had any connection to the interactions that gave the words their meaning. That’s why it fails so often in
 conditions that we find trivial.<u></u><u></u></span></p>
<p class="MsoNormal"><span style="font-size:11pt;font-family:"Calibri",sans-serif" lang="EN-CA"><u></u> <u></u></span></p>
<p class="MsoNormal"><span style="font-size:11pt;font-family:"Calibri",sans-serif" lang="EN-CA">I suppose there are many way to define what “thinking” is, or what “understanding” is, and perhaps there are general and useful definitions based on syntactic
 and structural richness that LLMs would satisfy. But if the question is whether they think in the same way as we do, then I believe the answer is no. Admittedly, we don’t know how our thinking is implemented by our brains. But even if you don’t have complete
 knowledge of something, you can still reject hypotheses that are incompatible with the knowledge that you do have. I believe we know enough about the brain and behavior (of humans and animals) that we can be confident that however our “thinking” is implemented,
 it is not based solely on the linguistic noises we utter but on how we learned to use those noises to construct complex interactions among ourselves.<u></u><u></u></span></p>
<p class="MsoNormal"><span style="font-size:11pt;font-family:"Calibri",sans-serif" lang="EN-CA"><u></u> <u></u></span></p>
<p class="MsoNormal"><span style="font-size:11pt;font-family:"Calibri",sans-serif" lang="EN-CA">Finally, let me clarify that I’m not trying to shoot arrows into anyone’s back or to discourage efforts for building “strong AI”. It’s the opposite: What I’m trying
 to do is to *persuade* people to not neglect the issue of meaning because I don’t believe we can build humanlike intelligence without it. Focusing purely on syntax has led to dead ends many times already. There are other directions that I think are more promising,
 for example, in theories of closed-loop control systems that discover adaptive interactions using action-perception cycles and reinforcement learning. Many of these perhaps also have excess reliance on gigantic training sets, but at least the framing of the
 problem is one that has a chance of capturing the complex meaningful interactions first, and then only later seek to construct abstracted hierarchies of control and short-hand notations for those meaningful interactions. And no, I don’t think you need to be
 biological or “embodied” to have intelligence, but you do need to keep meaning within the system.<u></u><u></u></span></p>
<p class="MsoNormal"><span style="font-size:11pt;font-family:"Calibri",sans-serif" lang="EN-CA"><u></u> <u></u></span></p>
<p class="MsoNormal"><span style="font-size:11pt;font-family:"Calibri",sans-serif" lang="EN-CA">Paul Cisek<u></u><u></u></span></p>
<p class="MsoNormal"><span style="font-size:11pt;font-family:"Calibri",sans-serif" lang="EN-CA"><u></u> <u></u></span></p>
<p class="MsoNormal"><span style="font-size:11pt;font-family:"Calibri",sans-serif" lang="EN-CA"><u></u> <u></u></span></p>
<p class="MsoNormal"><span style="font-size:11pt;font-family:"Calibri",sans-serif" lang="EN-CA"><u></u> <u></u></span></p>
<div style="border-color:rgb(225,225,225) currentcolor currentcolor;border-style:solid none none;border-width:1pt medium medium;padding:3pt 0in 0in">
<p class="MsoNormal"><b><span style="font-size:11pt;font-family:"Calibri",sans-serif">From:</span></b><span style="font-size:11pt;font-family:"Calibri",sans-serif"> Geoffrey Hinton <<a href="mailto:geoffrey.hinton@gmail.com" target="_blank">geoffrey.hinton@gmail.com</a>>
<br>
<b>Sent:</b> Monday, March 20, 2023 1:59 PM<br>
<b>To:</b> Paul Cisek <<a href="mailto:paul.cisek@umontreal.ca" target="_blank">paul.cisek@umontreal.ca</a>><br>
<b>Cc:</b> <a href="mailto:connectionists@mailman.srv.cs.cmu.edu" target="_blank">connectionists@mailman.srv.cs.cmu.edu</a><br>
<b>Subject:</b> Re: Connectionists: Can LLMs think?<u></u><u></u></span></p>
</div>
<p class="MsoNormal"><u></u> <u></u></p>
<div>
<p class="MsoNormal">LLM's do not do pattern matching in the sense that most people understand it. They use the data to create huge numbers of features and interactions between features such that these interactions can predict the next word.<u></u><u></u></p>
<div>
<p class="MsoNormal">The first neural net language model (so far as I know) made bets about the third term of a triple using word embedding vectors with 6 components. Retrospectively, the components of these vectors could be interpreted as sensible features
 for capturing the structure of the domain (which was very conventional family relationships). For example, there was a three-valued feature for a person's generation and the interactions between features ensured that  the triple Victoria has-father ?  took
 the generation of Victoria and produced an answer that was of a higher generation because it understood that the relationship has-father requires this.  Of course, in complicated domains there will be huge numbers of regularities which will make conflicting
 predictions for the next word  but the consensus can still be fairly reliable. I believe that factoring the discrete symbolic information into a very large number of features and interactions IS intuitive understanding and that this is true for both brains
 and LLMs even though they may use different learning algorithms for arriving at these factorizations.   I am dismayed that so many people fall prey to the well-known human disposition to think that there is something special about people.<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal">Geoff<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
</div>
<p class="MsoNormal"><u></u> <u></u></p>
<div>
<div>
<p class="MsoNormal">On Mon, Mar 20, 2023 at 3:53 AM Paul Cisek <<a href="mailto:paul.cisek@umontreal.ca" target="_blank">paul.cisek@umontreal.ca</a>> wrote:<u></u><u></u></p>
</div>
<blockquote style="border-color:currentcolor currentcolor currentcolor rgb(204,204,204);border-style:none none none solid;border-width:medium medium medium 1pt;padding:0in 0in 0in 6pt;margin-left:4.8pt;margin-right:0in">
<div>
<div>
<div>
<p class="MsoNormal">I must say that I’m somewhat dismayed when I read these kinds of discussions, here or elsewhere. Sure, it’s understandable that many people are fooled into thinking that LLMs are
 intelligent, just like many people were fooled by Eliza and Eugene Goostman. Humans are predisposed into ascribing intention and purpose to events in the world, which helped them construct complex societies by (often correctly) interpreting the actions of
 other people around them. But this same predisposition also led them to believe that the volcano was angry when it erupted because they did something to offend the gods. Given how susceptible humans are to this false ascription of agency, it is not surprising
 that they get fooled when something acts in a complex way.<u></u><u></u></p>
<p class="MsoNormal"> <u></u><u></u></p>
<p class="MsoNormal">But (most of) the people on this list know what’s under the hood! We know that LLMs are very good at pattern matching and completion, we know about the universal approximation theorem,
 we know that there is a lot of structure in the pattern of human-written text, and we know that humans are predisposed to ascribe meaning and intention even where there are none. We should therefore not be surprised that LLMs can produce text patterns that
 generalize well within-distribution but not so well out-of-distribution, and that when the former happens, people may be fooled into thinking they are speaking with a thinking being. Again, they were fooled by Eliza, and Eugene Goostman, and the Heider-Simmel
 illusion (ascribing emotion to animated triangles and circles)… and the rumblings of volcanos. But we know how LLMs and volcanos do what they do, and can explain their behavior without any additional assumptions (of thinking, or sentience, or whatever). So
 why add them?<u></u><u></u></p>
<p class="MsoNormal"> <u></u><u></u></p>
<p class="MsoNormal">In a sense, we are like a bunch of professional magicians, who know where all of the little strings and hidden compartments are, and who know how we just redirected the audience’s
 attention to slip the card into our pocket… but then we are standing around backstage wondering: “Maybe there really is magic?”<u></u><u></u></p>
<p class="MsoNormal"> <u></u><u></u></p>
<p class="MsoNormal">I think it’s not that machines have passed the Turing Test, but rather that we failed it.<u></u><u></u></p>
<p class="MsoNormal"> <u></u><u></u></p>
<p class="MsoNormal">Paul Cisek<u></u><u></u></p>
<p class="MsoNormal"><span style="font-size:11pt;font-family:"Calibri",sans-serif" lang="EN-CA"> </span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-size:11pt;font-family:"Calibri",sans-serif" lang="EN-CA"> </span><u></u><u></u></p>
<div>
<div style="border-color:rgb(225,225,225) currentcolor currentcolor;border-style:solid none none;border-width:1pt medium medium;padding:3pt 0in 0in">
<p class="MsoNormal"><b><span style="font-size:11pt;font-family:"Calibri",sans-serif">From:</span></b><span style="font-size:11pt;font-family:"Calibri",sans-serif"> Rothganger, Fredrick <<a href="mailto:frothga@sandia.gov" target="_blank">frothga@sandia.gov</a>>
<br>
<b>Sent:</b> Thursday, March 16, 2023 11:39 AM<br>
<b>To:</b> <a href="mailto:connectionists@mailman.srv.cs.cmu.edu" target="_blank">
connectionists@mailman.srv.cs.cmu.edu</a><br>
<b>Subject:</b> Connectionists: Can LLMs think?</span><u></u><u></u></p>
</div>
</div>
<p class="MsoNormal"> <u></u><u></u></p>
<div>
<p class="MsoNormal" style="background:white">
<span style="font-family:"Calibri",sans-serif;color:black">Noting the examples that have come up on this list over the last week, it's interesting that it takes some of the most brilliant AI researchers in the world to devise questions that break LLMs. Chatbots
 have always been able to fool some people some of the time, ever since ELIZA. But we now have systems that can fool a lot of people a lot of the time, and even the occasional expert who loses their perspective and comes to believe the system is sentient. LLMs
 have either already passed the classic Turning test, or are about to in the next generation.</span><u></u><u></u></p>
</div>
<div>
<p class="MsoNormal" style="background:white">
<span style="font-family:"Calibri",sans-serif;color:black"> </span><u></u><u></u></p>
</div>
<div>
<p class="MsoNormal" style="background:white">
<span style="font-family:"Calibri",sans-serif;color:black">What does that mean exactly? Turing's expectation was that "the use of words and general educated opinion will have altered so much that one will be able to speak of machines thinking without expecting
 to be contradicted". The ongoing discussion here is an indication that we are approaching that threshold. For the average person, we've probably already passed it.</span><u></u><u></u></p>
</div>
<p class="MsoNormal"> <u></u><u></u></p>
</div>
</div>
</div>
</blockquote>
</div>
</div>
</div>

</div></blockquote></div>