<div dir="auto">Dear All,<div dir="auto"><br></div><div dir="auto">I know the discussions are getting sometimes heated, but I want to thank everyone for it. I meant to contribute earlier pointing to an early paper by Amari-sensei where he used backprop without even detailed explanations. I always thought that for him it was trivial as it is just the chain rule. While Amari-sensei is so inspiring and has given us so many more insights through information geometry, there is also a huge role for people who popularize some ideas and bring the rest of us commoners along.</div><div dir="auto"><br></div><div dir="auto">I specifically enjoyed comments on deep learning versus neurosymbolic causal learning. I am so excited to see more awareness of possible relations that might bring these fields closer together in the future. What is your favorite venue for such discussions?</div><div dir="auto"><br></div><div dir="auto">Respectfully, Thomas Trappenberg </div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Sun, Jan 29, 2023, 8:49 a.m. Richard Loosemore <<a href="mailto:rloosemore@susaro.com" target="_blank" rel="noreferrer">rloosemore@susaro.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
  
    
  
  <div>
    <div><br>
      Dear Imad,<br>
      <br>
      Fair comment, although I heard Jeurgen say much the same thing 14
      years ago, at the AGI conference in 2009, so perhaps you can
      forgive me for being a little weary of this tune...?<br>
      <br>
      More *substantively* let me say that this field is such that many
      ideas/algorithms/theories can be SEEN as variations on other
      ideas/algorithms/theories, if you look at them from just the right
      angle.<br>
      <br>
      If I may add a tongue-in-cheek comment.  I got into this field in
      1981 (my first supervisor was John G. Taylor).  By the time the
      big explosion happened in 1985-7, I was already thinking far
      beyond that paradigm.  When thinking about what thesis to do, to
      satisfy my Warwick Psych Dept overseers in 1989, I invented, on
      paper, many of the ideas that later became Deep Learning.  But
      those struck me as tedious and ultimately irrelevant, because I
      wanted to understand the whole system, not make pattern
      association machines.  This is NOT a claim that I invented
      anything first, but it IS meant to convey the idea that to people
      like me who come up with novel ideas all the time, but try to stay
      focussed on what they consider the genuine prize, all this
      fighting for a place in the history books seems pathetic.<br>
      <br>
      There, that's my arrogant thought-for-the day.  You can now safely
      ignore me again.<br>
      <br>
      Richard Loosemore<br>
      <br>
      <br>
      <br>
      <br>
      <br>
      <br>
      <br>
      <br>
      <br>
      On 1/27/23 3:29 AM, Imad Khan wrote:<br>
    </div>
    <blockquote type="cite">
      
      <div dir="ltr">
        <div dir="ltr">Dear Richard,
          <div>I find your comment a bit unwarranted. You could,
            however, follow Gary Marcus' way to put forward critical
            thoughts. I do not necessarily agree with Gary, but I agree
            with his style. I am reproducing Gary's text below for your
            convenience. Juergan is an elder of AI and deserves respect
            (like all of us do). I did go to your website and you're
            correct to say that AI systems are complex systems and an
            integrated approach is needed to save another 20 years!</div>
          <div><br>
          </div>
          <div>Gary's excerpt:</div>
          <div><img src="cid:part1.KAXvaOdg.pEXfCfP6@susaro.com" alt="image.png" width="472" height="50"><br>
            <div>
              <div dir="ltr">
                <div> </div>
                <div>Regards,</div>
                <div>Dr. M. Imad Khan</div>
              </div>
            </div>
            <br>
          </div>
        </div>
      </div>
      <br>
      <div class="gmail_quote">
        <div dir="ltr" class="gmail_attr">On Thu, 26 Jan 2023 at 04:41,
          Richard Loosemore <<a href="mailto:rloosemore@susaro.com" rel="noreferrer noreferrer" target="_blank">rloosemore@susaro.com</a>>
          wrote:<br>
        </div>
        <blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><br>
          Please, somebody reassure me that this isn't just another
          attempt to <br>
          rewrite history so that Schmidhuber's lab invented almost
          everything.<br>
          <br>
          Because at first glance, that's what it looks like.<br>
          <br>
          Richard<br>
          <br>
        </blockquote>
      </div>
    </blockquote>
    <br>
  </div>
</blockquote></div>