<div dir="ltr">Dear Gary,<div><br></div><div>As my reply to Asim Roy indicated, the parts and whole problem that Geoff Hinton considered is ill-posed since it bypasses how a brain network segments the "whole" from 1000 parts in the cluttered scene.  Only 10 parts belong to the whole.</div><div><br></div><div>The relation problem has also been solved and mathematically proven if one understands emergent universal Turing machines using a Developmental Network (DN).   The solution to relation is a special case of the solution to the compositionality problem which is a special case of the emergent universal Turing machine.</div><div><br></div><div>I am not telling you "a son looks like his father because the father makes money to feed the son".   The solution is supported by biology and a mathematical proof.</div><div><br>Best regards,</div><div>-John</div><div><div><br></div><div>Date: Mon, 7 Feb 2022 07:57:34 -0800<br>From: Gary Marcus <<a href="mailto:gary.marcus@nyu.edu" target="_blank">gary.marcus@nyu.edu</a>><br>To: Juyang Weng <<a href="mailto:juyang.weng@gmail.com" target="_blank">juyang.weng@gmail.com</a>><br>Cc: Post Connectionists <<a href="mailto:connectionists@mailman.srv.cs.cmu.edu" target="_blank">connectionists@mailman.srv.cs.cmu.edu</a>><br>Subject: Re: Connectionists: Stephen Hanson in conversation with Geoff<br>        Hinton<br>Message-ID: <<a href="mailto:D0E77E54-78C0-4605-B40C-434E2B8F1E7C@nyu.edu" target="_blank">D0E77E54-78C0-4605-B40C-434E2B8F1E7C@nyu.edu</a>><br>Content-Type: text/plain; charset="utf-8"<br><br>Dear John,<br><br>I agree with you that cluttered scenes are critical, but Geoff?s GLOM paper [<a href="https://www.cs.toronto.edu/~hinton/absps/glomfinal.pdf" rel="noreferrer" target="_blank">https://www.cs.toronto.edu/~hinton/absps/glomfinal.pdf</a>] might actually have some relevance. It may well be that we need to do a better job with parts and whole before we can fully address clutter, and Geoff is certainly taking that question seriously.<br><br>Geoff?s ?Stable islands of identical vectors? do sound suspiciously like symbols to me (in a good way!), but regardless, they seem to me to be a plausible candidate as a foundation for coping with clutter.<br><br>And not just cluttered scenes, but also relations between multiple objects in a scene, which is another example of the broader issue you raise, challenging for pure MLPs but critical for deeper AI.<br><br>Gary<br clear="all"><div><br></div>-- <br><div dir="ltr" class="gmail_signature" data-smartmail="gmail_signature"><div dir="ltr">Juyang (John) Weng<br></div></div></div></div></div>