<div dir="ltr"><div>Gary,</div><div><br></div><div>The examples you mentioned in the email have already been COMPLETELY solved and mathematically proven by the emergent Turing machine theory using a Developmental Network (DN): </div><div><span style="color:rgb(0,0,0);font-family:Times;font-size:medium">J. Weng, "Brain as an Emergent Finite Automaton: A Theory and Three Theorems'' </span><i style="color:rgb(0,0,0);font-family:Times;font-size:medium">International Journal of Intelligence Science</i><span style="color:rgb(0,0,0);font-family:Times;font-size:medium">, vol. 5, no. 2, pp. 112-131, Jan. 2015. </span><a href="http://www.scirp.org/journal/PaperDownload.aspx?paperID=53728" style="font-family:Times;font-size:medium" target="_blank">PDF file</a><span style="color:rgb(0,0,0);font-family:Times;font-size:medium">. (This is the journal version of the above IJCNN paper. It explains that the control of a Turing Machine, regular or universal, is an Finite Automaton and therefore a DN can learn any universal Turing Machine one transition at a time, immediately, error-free if there is sufficient neuronal resource, and optimal in the sense of maximum likelihood if there is no sufficient neuronal resource.)</span><br></div><div>This is a good news.</div><div><br></div><div>A bad news:  Psychologists, neuroscientists and neural network researchers who have not learned the theory of encoding a universal Turing machine are not able to understand the fundamental solution.  <br><br>That is why you feel comfortable with only intuitive examples.  </div><div><br></div><div>Please suggest how to address this fundamental communication problem facing this community.  You are not alone on this list.</div><div><br></div><div>Best regards,</div><div>-John</div>----<br>Date: Mon, 7 Feb 2022 14:07:27 -0800<br>From: Gary Marcus <<a href="mailto:gary.marcus@nyu.edu" target="_blank">gary.marcus@nyu.edu</a>><br>To: Stephen Jos? Hanson <<a href="mailto:jose@rubic.rutgers.edu" target="_blank">jose@rubic.rutgers.edu</a>><br>Cc: AIhub <<a href="mailto:aihuborg@gmail.com" target="_blank">aihuborg@gmail.com</a>>, <a href="mailto:connectionists@mailman.srv.cs.cmu.edu" target="_blank">connectionists@mailman.srv.cs.cmu.edu</a><br>Subject: Re: Connectionists: Stephen Hanson in conversation with Geoff<br>        Hinton<br>Message-ID: <<a href="mailto:BB0190E0-193B-4AFC-9AE1-A7C0961E8D60@nyu.edu" target="_blank">BB0190E0-193B-4AFC-9AE1-A7C0961E8D60@nyu.edu</a>><br>Content-Type: text/plain; charset="utf-8"<br><br>Stephen,<br><br>I don?t doubt for a minute that deep learning can characterize some aspects of psychology reasonably well; but either it needs to expands its borders or else be used  in conjunction with other techniques. Take for example the name of the new Netflix show<br><br>The Woman in the House Across the Street from the Girl in the Window<br><br>Most of us can infer, compositionally, from that unusually long noun phrase, that the title is a description of particular person, that the title is not a complete sentence, and that the woman in question lives in a house; we also infer that there is a second, distinct person (likely a child) across the street, and so forth. We can also use some knowledge of pragmatics to infer that the woman in question is likely to be the protagonist in the show. Current systems still struggle with that sort of thing.<br><br>We can then watch the show (I watched a few minutes of Episode 1) and quickly relate the title to the protagonist?s mental state, start to develop a mental model of the protagonist?s relation to her new neighbors, make inferences about whether certain choices appear to be ?within character?, empathize with character or question her judgements, etc, all with respect to a mental model that is rapidly encoded and quickly modified.<br><br>I think that an understanding of how people build and modify such models would be extremely valuable (not just for fiction for everyday reality), but I don?t see how deep learning in its current form gives us much purchase on that. There is plenty of precedent for the kind of mental processes I am sketching (e.g  Walter Kintsch?s work on text comprehension; Kamp/Kratzer/Heim work on discourse representation, etc) from psychological and linguistic perspectives, but almost no current contact in the neural network community with these well-attested psychological processes.<br><br>Gary<br clear="all"><div><br></div>-- <br><div dir="ltr" data-smartmail="gmail_signature"><div dir="ltr">Juyang (John) Weng<br></div></div></div>