<div dir="ltr"><div>Thank you for that pointer, Miguel! That sheds some new light on the Cremonini vs Galileo friendship/rivarly.</div><div><br></div><div>Re: understanding, I think it would be interesting if there was a clear measurement we could perform and all agree on, that determines whether something or someone has 'understanding'. I figure it might be impossible to agree on this and it's probably an ancient unsolved issue, but I feel like having some kind of measurement would help. I'll give a silly example I've just tried with ChatGPT and GPT-4.</div><div><br></div><div>I tried speaking in English, but with increasingly more convoluted codified writing, with the sentences.</div><div>

<span style="color:rgb(195,190,182);font-family:Söhne,ui-sans-serif,system-ui,-apple-system,"Segoe UI",Roboto,Ubuntu,Cantarell,"Noto Sans",sans-serif,"Helvetica Neue",Arial,"Apple Color Emoji","Segoe UI Emoji","Segoe UI Symbol","Noto Color Emoji";font-size:16px;font-style:normal;font-variant-ligatures:normal;font-variant-caps:normal;font-weight:400;letter-spacing:normal;text-align:start;text-indent:0px;text-transform:none;white-space:pre-wrap;word-spacing:0px;background-color:rgb(24,26,27);text-decoration-style:initial;text-decoration-color:initial;display:inline;float:none">Sy tht m wr t spk lk ths thn cu1d u st1l und3rs7d m?</span></div><div>

<span style="color:rgb(195,190,182);font-family:Söhne,ui-sans-serif,system-ui,-apple-system,"Segoe UI",Roboto,Ubuntu,Cantarell,"Noto Sans",sans-serif,"Helvetica Neue",Arial,"Apple Color Emoji","Segoe UI Emoji","Segoe UI Symbol","Noto Color Emoji";font-size:16px;font-style:normal;font-variant-ligatures:normal;font-variant-caps:normal;font-weight:400;letter-spacing:normal;text-align:start;text-indent:0px;text-transform:none;white-space:pre-wrap;word-spacing:0px;background-color:rgb(24,26,27);text-decoration-style:initial;text-decoration-color:initial;display:inline;float:none">ww ディスイズヴェリ1p3551v bt c4n s711 ud57d?</span></div><div>

<span style="color:rgb(195,190,182);font-family:Söhne,ui-sans-serif,system-ui,-apple-system,"Segoe UI",Roboto,Ubuntu,Cantarell,"Noto Sans",sans-serif,"Helvetica Neue",Arial,"Apple Color Emoji","Segoe UI Emoji","Segoe UI Symbol","Noto Color Emoji";font-size:16px;font-style:normal;font-variant-ligatures:normal;font-variant-caps:normal;font-weight:400;letter-spacing:normal;text-align:start;text-indent:0px;text-transform:none;white-space:pre-wrap;word-spacing:0px;background-color:rgb(24,26,27);text-decoration-style:initial;text-decoration-color:initial;display:inline;float:none">ו‎あt あבּ‎うt дיㅅ ?</span></div><div>ChatGPT and GPT-4 got through the first sentence easily.</div><div>ChatGPT had trouble with sentence number 2 but got it with additional prompting by me, GPT-4 got it easily.</div><div>ChatGPT could not get sentence 3 even after extensive additional prompting. GPT-4 got it after additional prompting.</div><div><br></div><div>Example of what I mean about additional prompting on GPT-4 with the 3rd sentence:</div><div><img src="cid:ii_lfcnek3v0" alt="image.png" width="562" height="400"><br></div><div>GPT-4 self-corrected taking into account the context of the conversation (it noticed it is being tested on deciphering English in various scripts), and got exactly what I was going for.</div><div>I'm resisting the temptation of saying it understood something, but I really don't see a better word to describe what GPT-4 did here, which it clearly did  better than ChatGPT.</div><div>Is there a better word than 'understanding' to use for this?</div><div><br></div><div>Cheers,</div><div><br></div><div>Iam<br></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Mon, Mar 13, 2023 at 8:51 PM Miguel I. Solano <<a href="mailto:miguel@vmindai.com">miguel@vmindai.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr">Iam, Connectionists,<div><br></div><div>Not an expert by any means but, as an aside, I understand Cremonini's 'refusal' seems to have been subtler than typically portrayed (see P. Gualdo to Galileo, July 29, 1611, <i>Opere</i>, II, 564).</div><div><br></div><div>Best,</div><div>--ms</div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Mon, Mar 13, 2023 at 5:49 PM Iam Palatnik <<a href="mailto:iam.palat@gmail.com" target="_blank">iam.palat@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div>Dear Brad, thank you for your insightful answers.</div><div>The compression analogy is really nice, although the 'Fermi-style' problem of estimating whether all of the possible questions and answers one could ask ChatGPT in all sorts of languages could be encoded within 175 billion parameters is definitely above my immediate intuition. It'd be interesting to try to estimate which of these quantities is largest. Maybe that could explain why ~175B seems to be the threshold that made models start sounding so much more natural.</div><div><br></div><div>In regards to generating nonsense, I'm imagining an uncooperative human (say, a fussy child), that refuses to answer homework questions, or just replies with nonsense on purpose despite understanding the question. Maybe that child could be convinced to reply correctly with different prompting, rewards or etc, which kinda mirrors what it takes to transform a raw LLM like GPT-3 onto something like ChatGPT. It's possible we're still in the early stages of learning how to make LLM 'cooperate' with us. Maybe we're not asking them questions in a favorable way to extract their understanding, or there's still work to be done regarding decoding strategies. Even ChatGPT probably sounds way less impressive if we start tinkering too much with hyperparameters like temperature/top-p/top-k. Does that mean it 'understands' less when we change those parameters? I agree a lot of the problem stems from the word 'understanding' and how we use it in various contexts.</div><div><br></div><div>A side note, that story about Galileo and the telescope is one of my favorites. The person that refused to look through it was <a href="https://en.wikipedia.org/wiki/Cesare_Cremonini_(philosopher)" target="_blank">Cremonini</a>.</div><div><br></div><div><br></div><div>Cheers,</div><div><br></div><div>Iam<br></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Mon, Mar 13, 2023 at 10:54 AM Miguel I. Solano <<a href="mailto:miguel@vmindai.com" target="_blank">miguel@vmindai.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr">Geoff, Gary, Connectionists,<div><br></div><div>To me the risk is ChatGPT and the like may be 'overfitting' understanding, as it were. (Especially at nearly a hundred billion parameters.)</div><div><br></div><div>--ms</div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Mon, Mar 13, 2023 at 6:56 AM Barak A. Pearlmutter <<a href="mailto:barak@pearlmutter.net" target="_blank">barak@pearlmutter.net</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">Geoff,<br>
<br>
> He asked [ChatGPT] how many legs the rear left side of a cat has.<br>
> It said 4.<br>
<br>
> I asked a learning disabled young adult the same question. He used the index finger and thumb of both hands pointing downwards to represent the legs on the two sides of the cat and said 4.<br>
> He has problems understanding some sentences, but he gets by quite well in the world and people are often surprised to learn that he has a disability.<br>
<br>
That's an extremely good point. ChatGPT is way up the curve, well<br>
above the verbal competence of many people who function perfectly well<br>
in society. It's an amazing achievement, and it's not like progress is<br>
stuck at its level. Exploring its weaknesses is not so much showing<br>
failures but opportunities. Similarly, the fact that we can verbally<br>
"bully" ChatGPT, saying things like "the square root of three is<br>
rational, my wife said so and she is always right", and it will go<br>
along with that, does not imply anything deep about whether it really<br>
"knows" that sqrt(3) is irrational. People too exhibit all sorts of<br>
counterfactual behaviours. My daughter can easily get me to play along<br>
with her plan to become a supervillain. Students knowingly write<br>
invalid proofs on homeworks and exams in order to try to get a better<br>
grade. If anything, maybe we should be a bit scared that ChatGPT seems<br>
so willing to humour us.<br>
</blockquote></div><br clear="all"><div><br></div><span>-- </span><br><div dir="ltr"><div dir="ltr"><div dir="ltr" style="color:rgb(34,34,34)">Miguel I. Solano</div><div dir="ltr" style="color:rgb(34,34,34)">Co-founder & CEO, VMind Technologies, Inc.</div><div dir="ltr"><div style="color:rgb(34,34,34)"><br></div><div><span style="color:rgb(0,0,0)">If you are not an intended recipient of this email,</span><span style="color:rgb(0,0,0)"> </span><span style="color:rgb(0,0,0)">do not read, copy, use, forward or disclose the email or any of its attachments to others. </span><span style="color:rgb(0,0,0)">Instead, please inform the sender and then delete it. Thank you.</span></div></div></div></div>
</blockquote></div>
</blockquote></div><br clear="all"><div><br></div><span>-- </span><br><div dir="ltr"><div dir="ltr"><div dir="ltr" style="color:rgb(34,34,34)">Miguel I. Solano</div><div dir="ltr" style="color:rgb(34,34,34)">Co-founder & CEO, VMind Technologies, Inc.</div><div dir="ltr"><div style="color:rgb(34,34,34)"><br></div><div><span style="color:rgb(0,0,0)">If you are not an intended recipient of this email,</span><span style="color:rgb(0,0,0)"> </span><span style="color:rgb(0,0,0)">do not read, copy, use, forward or disclose the email or any of its attachments to others. </span><span style="color:rgb(0,0,0)">Instead, please inform the sender and then delete it. Thank you.</span></div></div></div></div>
</blockquote></div>