<div dir="auto">Gary</div><div dir="auto"><br></div><div dir="auto">I agree with all of that completely. However, I do have a further question. How will we ever know whether even a fully embodied, high performing intelligent machine that can “explain” its decisions has the capacity for actual self-reflection? How can we be sure that other humans have the capacity for self-reflection, beyond the fact that they are like us, give us understandable reports of their inner thinking, and tickle our mirror system in the right way?</div><div dir="auto"><br></div><div dir="auto">This is not to deny that humans can do self-reflection; it is about whether we have an objective method to know that another species not like us is doing it. At some point in what I think will be a fairly distant future, an nth- generation, descendent of GPT-3 may be so sophisticated that the question will become moot. That is the inevitable consequence of a non-dualistic view of intelligence that we all share, and will come to pass unless the current narrow application-driven view of AI derails the entire project.</div><div dir="auto"><br></div><div dir="auto">I do think that that that system will have a very different neural architecture much closer to the brain’s, will be embodied, will not need to learn using billions of data points and millions of gradient-descent iterations, and will be capable of actual mental growth (not just learning more stuff but learning new modes of understanding) over its lifetime. It will also not be able to explain its inner thoughts perfectly, nor feel the need to do so because it will not be our obedient servant. In other words, it will not be anything like GPT-3.</div><div dir="auto"><br></div><div dir="auto">Ali</div><div dir="auto"><br></div><div dir="auto"><br></div><div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Mon, Feb 14, 2022 at 10:06 AM Gary Marcus <<a href="mailto:gary.marcus@nyu.edu">gary.marcus@nyu.edu</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Also true: Many AI researchers are very unclear about what consciousness is and also very sure that ELIZA doesn’t have it.<br>
<br>
Neither ELIZA nor GPT-3 have<br>
- anything remotely related to embodiment<br>
- any capacity to reflect upon themselves<br>
<br>
Hypothesis: neither keyword matching nor tensor manipulation, even at scale, suffice in themselves to qualify for consciousness.<br>
<br>
- Gary<br>
<br>
> On Feb 14, 2022, at 00:24, Geoffrey Hinton <<a href="mailto:geoffrey.hinton@gmail.com" target="_blank">geoffrey.hinton@gmail.com</a>> wrote:<br>
> <br>
> Many AI researchers are very unclear about what consciousness is and also very sure that GPT-3 doesn’t have it. It’s a strange combination.<br>
> <br>
> <br>
<br>
</blockquote></div></div>-- <br><div dir="ltr" class="gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><b>Ali A. Minai, Ph.D.</b><br>Professor and Graduate Program Director<br>Complex Adaptive Systems Lab<br>Department of Electrical Engineering & Computer Science<br></div><div>828 Rhodes Hall<br></div><div>University of Cincinnati<br>Cincinnati, OH 45221-0030<br><br></div><div>Past-President (2015-2016)<br></div><div>International Neural Network Society<br></div><div><br>Phone: (513) 556-4783<br>Fax: (513) 556-7326<br>Email: <a href="mailto:Ali.Minai@uc.edu" target="_blank">Ali.Minai@uc.edu</a><br>          <a href="mailto:minaiaa@gmail.com" target="_blank">minaiaa@gmail.com</a><br><br>WWW: <a href="http://www.ece.uc.edu/%7Eaminai/" target="_blank">https://eecs.ceas.uc.edu/~aminai/</a></div></div></div></div></div></div></div></div></div></div></div></div></div>