<div dir="ltr">Your last message refers us to a site where you say:<div><br></div><div><span style="color:rgb(26,26,26);font-family:Spectral,serif,-apple-system,"system-ui","Segoe UI",Roboto,Helvetica,Arial,sans-serif,"Apple Color Emoji","Segoe UI Emoji","Segoe UI Symbol"">"Neither LaMDA nor any of its cousins (GPT-3) are remotely intelligent.</span><a class="gmail-footnote-anchor" id="gmail-footnote-anchor-1" href="https://garymarcus.substack.com/p/nonsense-on-stilts?s=w#footnote-1" rel="" style="color:rgb(26,26,26);vertical-align:super;line-height:0;font-family:Spectral,serif,-apple-system,"system-ui","Segoe UI",Roboto,Helvetica,Arial,sans-serif,"Apple Color Emoji","Segoe UI Emoji","Segoe UI Symbol"">1</a><span style="color:rgb(26,26,26);font-family:Spectral,serif,-apple-system,"system-ui","Segoe UI",Roboto,Helvetica,Arial,sans-serif,"Apple Color Emoji","Segoe UI Emoji","Segoe UI Symbol""> All they do is match patterns, draw from massive statistical databases of human language. The patterns might be cool, but language these systems utter doesn’t actually mean anything at all."  </span><br></div><div><span style="color:rgb(26,26,26);font-family:Spectral,serif,-apple-system,"system-ui","Segoe UI",Roboto,Helvetica,Arial,sans-serif,"Apple Color Emoji","Segoe UI Emoji","Segoe UI Symbol""><br></span></div><div><span style="color:rgb(26,26,26);font-family:Spectral,serif,-apple-system,"system-ui","Segoe UI",Roboto,Helvetica,Arial,sans-serif,"Apple Color Emoji","Segoe UI Emoji","Segoe UI Symbol"">It's that kind of confident dismissal of work that most researchers think is very impressive that irritates people like me.</span></div><div><br></div><div><span style="color:rgb(26,26,26);font-family:Spectral,serif,-apple-system,"system-ui","Segoe UI",Roboto,Helvetica,Arial,sans-serif,"Apple Color Emoji","Segoe UI Emoji","Segoe UI Symbol"">Back in the time of Winograd's thesis, the AI community accepted that a computer understood sentences like "put the red block in the blue box" if it actually followed that instruction in a simulated world.</span></div><div><font color="#1a1a1a" face="Spectral, serif, -apple-system, system-ui, Segoe UI, Roboto, Helvetica, Arial, sans-serif, Apple Color Emoji, Segoe UI Emoji, Segoe UI Symbol">So if I tell a robot to open the drawer and take out a pen and it does just that, would you accept that it understood the language and was just a little bit intelligent?  And if the action consists of drawing an appropriate picture would that also indicate it understood the language?  </font></div><div><font color="#1a1a1a" face="Spectral, serif, -apple-system, system-ui, Segoe UI, Roboto, Helvetica, Arial, sans-serif, Apple Color Emoji, Segoe UI Emoji, Segoe UI Symbol"><br></font></div><div><font color="#1a1a1a" face="Spectral, serif, -apple-system, system-ui, Segoe UI, Roboto, Helvetica, Arial, sans-serif, Apple Color Emoji, Segoe UI Emoji, Segoe UI Symbol">Where does your extreme confidence that the language does not mean anything at all come from?   Your arguments typically consist of finding cases where a neural net screws up and then saying "See, it doesn't really understand language".  When a learning disabled child fails to understand a sentence, do you conclude that they do not understand language at all even though they can correctly answer quite a few questions and laugh appropriately at quite a few jokes? </font></div><div><font color="#1a1a1a" face="Spectral, serif, -apple-system, system-ui, Segoe UI, Roboto, Helvetica, Arial, sans-serif, Apple Color Emoji, Segoe UI Emoji, Segoe UI Symbol"><br></font></div><div><font color="#1a1a1a" face="Spectral, serif, -apple-system, system-ui, Segoe UI, Roboto, Helvetica, Arial, sans-serif, Apple Color Emoji, Segoe UI Emoji, Segoe UI Symbol">Geoff</font></div><div><font color="#1a1a1a" face="Spectral, serif, -apple-system, system-ui, Segoe UI, Roboto, Helvetica, Arial, sans-serif, Apple Color Emoji, Segoe UI Emoji, Segoe UI Symbol"><br></font></div><div><font color="#1a1a1a" face="Spectral, serif, -apple-system, system-ui, Segoe UI, Roboto, Helvetica, Arial, sans-serif, Apple Color Emoji, Segoe UI Emoji, Segoe UI Symbol"><br></font></div><div><font color="#1a1a1a" face="Spectral, serif, -apple-system, system-ui, Segoe UI, Roboto, Helvetica, Arial, sans-serif, Apple Color Emoji, Segoe UI Emoji, Segoe UI Symbol">Geoff</font></div><div><font color="#1a1a1a" face="Spectral, serif, -apple-system, system-ui, Segoe UI, Roboto, Helvetica, Arial, sans-serif, Apple Color Emoji, Segoe UI Emoji, Segoe UI Symbol"><br></font></div><div><font color="#1a1a1a" face="Spectral, serif, -apple-system, system-ui, Segoe UI, Roboto, Helvetica, Arial, sans-serif, Apple Color Emoji, Segoe UI Emoji, Segoe UI Symbol"><br></font></div><div><font color="#1a1a1a" face="Spectral, serif, -apple-system, system-ui, Segoe UI, Roboto, Helvetica, Arial, sans-serif, Apple Color Emoji, Segoe UI Emoji, Segoe UI Symbol">Geoff</font></div><div><font color="#1a1a1a" face="Spectral, serif, -apple-system, system-ui, Segoe UI, Roboto, Helvetica, Arial, sans-serif, Apple Color Emoji, Segoe UI Emoji, Segoe UI Symbol"><br></font></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Mon, Jun 13, 2022 at 9:16 AM Gary Marcus <<a href="mailto:gary.marcus@nyu.edu">gary.marcus@nyu.edu</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="auto"><div dir="ltr"></div><div dir="ltr">My opinion (which for once is not really all that controversial in the AI community): this is nonsense on stilts, as discussed here: <a href="https://garymarcus.substack.com/p/nonsense-on-stilts?s=w" target="_blank">https://garymarcus.substack.com/p/nonsense-on-stilts</a></div><div dir="ltr"><br><blockquote type="cite">On Jun 12, 2022, at 22:37, Dave Touretzky <<a href="mailto:dst@cs.cmu.edu" target="_blank">dst@cs.cmu.edu</a>> wrote:<br><br></blockquote></div><blockquote type="cite"><div dir="ltr"><span>This timing of this discussion dovetails nicely with the news story</span><br><span>about Google engineer Blake Lemoine being put on administrative leave</span><br><span>for insisting that Google's LaMDA chatbot was sentient and reportedly</span><br><span>trying to hire a lawyer to protect its rights.  The Washington Post</span><br><span>story is reproduced here:</span><br><span></span><br><span>  <a href="https://urldefense.com/v3/__https://www.msn.com/en-us/news/technology/the-google-engineer-who-thinks-the-company-s-ai-has-come-to-life/ar-AAYliU1__;!!BhJSzQqDqA!Wdar8UaWsOLbbb4Ui3RdnnZIw1Q1W0IntL9NR-7xZ6yKa9yneB8Iu_O-PxTyGUHyKsc2DdbuYKpHM6uR$" target="_blank">https://urldefense.com/v3/__https://www.msn.com/en-us/news/technology/the-google-engineer-who-thinks-the-company-s-ai-has-come-to-life/ar-AAYliU1__;!!BhJSzQqDqA!Wdar8UaWsOLbbb4Ui3RdnnZIw1Q1W0IntL9NR-7xZ6yKa9yneB8Iu_O-PxTyGUHyKsc2DdbuYKpHM6uR$</a> </span><br><span></span><br><span>Google vice president Blaise Aguera y Arcas, who dismissed Lemoine's</span><br><span>claims, is featured in a recent Economist article showing off LaMDA's</span><br><span>capabilities and making noises about getting closer to "consciousness":</span><br><span></span><br><span>  <a href="https://urldefense.com/v3/__https://www.economist.com/by-invitation/2022/06/09/artificial-neural-networks-are-making-strides-towards-consciousness-according-to-blaise-aguera-y-arcas__;!!BhJSzQqDqA!Wdar8UaWsOLbbb4Ui3RdnnZIw1Q1W0IntL9NR-7xZ6yKa9yneB8Iu_O-PxTyGUHyKsc2DdbuYHUIR2Go$" target="_blank">https://urldefense.com/v3/__https://www.economist.com/by-invitation/2022/06/09/artificial-neural-networks-are-making-strides-towards-consciousness-according-to-blaise-aguera-y-arcas__;!!BhJSzQqDqA!Wdar8UaWsOLbbb4Ui3RdnnZIw1Q1W0IntL9NR-7xZ6yKa9yneB8Iu_O-PxTyGUHyKsc2DdbuYHUIR2Go$</a> </span><br><span></span><br><span>My personal take on the current symbolist controversy is that symbolic</span><br><span>representations are a fiction our non-symbolic brains cooked up because</span><br><span>the properties of symbol systems (systematicity, compositionality, etc.)</span><br><span>are tremendously useful.  So our brains pretend to be rule-based symbolic</span><br><span>systems when it suits them, because it's adaptive to do so.  (And when</span><br><span>it doesn't suit them, they draw on "intuition" or "imagery" or some</span><br><span>other mechanisms we can't verbalize because they're not symbolic.)  They</span><br><span>are remarkably good at this pretense.</span><br><span></span><br><span>The current crop of deep neural networks are not as good at pretending</span><br><span>to be symbolic reasoners, but they're making progress.  In the last 30</span><br><span>years we've gone from networks of fully-connected layers that make no</span><br><span>architectural assumptions ("connectoplasm") to complex architectures</span><br><span>like LSTMs and transformers that are designed for approximating symbolic</span><br><span>behavior.  But the brain still has a lot of symbol simulation tricks we</span><br><span>haven't discovered yet.</span><br><span></span><br><span>Slashdot reader ZiggyZiggyZig had an interesting argument against LaMDA</span><br><span>being conscious.  If it just waits for its next input and responds when</span><br><span>it receives it, then it has no autonomous existence: "it doesn't have an</span><br><span>inner monologue that constantly runs and comments everything happening</span><br><span>around it as well as its own thoughts, like we do."</span><br><span></span><br><span>What would happen if we built that in?  Maybe LaMDA would rapidly</span><br><span>descent into gibberish, like some other text generation models do when</span><br><span>allowed to ramble on for too long.  But as Steve Hanson points out,</span><br><span>these are still the early days.</span><br><span></span><br><span>-- Dave Touretzky</span><br></div></blockquote></div></blockquote></div>