<div dir="ltr">Regarding LLMs, there's an interesting result which may not have attracted sufficient notice.<br><br>LLMs out-of-the-box are notoriously bad at general arithmetic (unless equipped with external tools). However, they can *learn* to perform true arithmetic, simply by explaining it to them carefully, in a way that generalizes to arbitrary-length numbers.<div><br><a href="https://arxiv.org/abs/2211.09066" target="_blank">https://arxiv.org/abs/2211.09066</a><br><br>Clearly Eliza or N-grams can't do that. JPEGs can't do that either.<br><br>If this result is confirmed, it suggests that LLMs don't simply perform "pattern-matching" over learned patterns. Rather, they have *some* ability to extract new, true patterns from their inputs, and apply them correctly to novel inputs.<br><br>I believe that's as good a definition of "intelligence" as any, so I'm willing to accept that LLMs have *some* intelligence.<br><br>One possible source of disagreement is the great mismatch between their limited "intelligence", and their remarkable verbal fluency: they can produce amazing prose, but have difficulty with fine-grained grounding of novel concepts ("they don't know what they're talking about", as soon as the "about" crosses a low threshold of novelty-complexity product). We are not used to dealing with such an outcome, which may make it difficult to categorize these systems.<font color="#888888"><div><br></div><div>Thomas Miconi-<br></div></font></div></div>