<div dir="ltr"><div>Jürgen,</div><div><br></div><div>It's fantastic that you're helping expose people to some important bits of scientific literature.<br></div><div><br></div><div>But...<br></div><div><br></div><div>> Minsky & Papert [M69] made some people think that Rosenblatt [R58-62] had only linear NNs plus threshold functions</div><div><br></div><div>If you actually read Minsk and Papert's "Perceptrons" book, this is not a misconception it encourages. It defines a "k-th order perceptron" as a linear threshold unit preceded by an arbitrary set of fixed nonlinearities with fan-in k. (A linear threshold unit with binary inputs would, in this terminology, be a 1st-order perceptron.) All their theorems are for k>1. For instance, they prove that a k-th order perceptron cannot do (k+1)-bit parity, which in the special case of k=1 simplifies to the trivial observation that a simple linear threshold unit cannot do xor.</div><div><img src="cid:ii_kz40mdx00" alt="perceptrons-book-cover-1.jpg" style="margin-right: 0px;" width="217" height="325"> <img src="cid:ii_kz40mwg61" alt="perceptron-diagram-1.jpg" style="margin-right: 0px;" width="235" height="329"></div><div></div><div></div><div></div><div>This is why you're not supposed to directly cite things you have not actually read: it's too easy to misconstrue them based on inaccurate summaries transmitted over a series of biased noisy compressive channels.</div><div><br></div><div>Cheers,</div><div><br></div><div>--Barak.<br></div></div>