<div dir="ltr">











<p style="margin:0in 0in 0in 0.375in;font-family:Calibri;font-size:11pt">Dear
Connectionists,</p>

<p style="margin:0in 0in 0in 0.375in;font-family:Calibri;font-size:11pt"> </p>

<p style="margin:0in 0in 0in 0.375in;font-family:Calibri;font-size:11pt">I
believe this community will be interested in a new downloadable Java app that I
've just made available on my web site (<a href="http://www.sparsey.com/CSA_explainer_app_page.html">on this page</a>),
which describes an alternative, biologically motivated/plausible, way to
achieve the goals of locality-sensitive hashing (LSH).<span>  </span>This alternative model, called Sparsey,
achieves a much more general notion of similarity preservation than LSH, and
has many other advantages as well.<span> 
</span>Sparsey has a natural correspondence to the brain's cortex, centering on
the idea that all items of information are stored as sparse distributed codes
(SDCs), a.k.a., cell assemblies, in superposition in mesoscale cortical
modules, e.g., macrocolumns (though other structures, e.g., mushroom bodies,
are also candidates).</p>

<p style="margin:0in 0in 0in 0.375in;font-family:Calibri;font-size:11pt"> </p>

<p style="margin:0in 0in 0in 0.375in;font-family:Calibri;font-size:11pt">Briefly,
Sparsey preserves similarity from input space to SDR code space (measured as
intersection size) as follows.</p>

<p style="margin:0in 0in 0in 0.375in;font-family:Calibri;font-size:11pt"> </p>

<ul style="margin-left:0.375in;direction:ltr;unicode-bidi:embed;margin-top:0in;margin-bottom:0in" type="disc">
 <li style="margin-top:0px;margin-bottom:0px;vertical-align:middle"><span style="font-family:Calibri;font-size:11pt">The process of choosing an
     SDR takes the form of Q independent softmax choices, one in each of the Q
     WTA competitive modules (CMs) that comprise the SDR coding field.</span></li>
 <li style="margin-top:0px;margin-bottom:0px;vertical-align:middle"><span style="font-family:Calibri;font-size:11pt">The familiarity (inverse
     novelty) of the input, denoted "G", which is in [0,1], is
     computed. This is an extremely simple computation.</span></li>
 <li style="margin-top:0px;margin-bottom:0px;vertical-align:middle"><span style="font-family:Calibri;font-size:11pt">The amount of noise in those
     Q softmax choice processes is modulated as a function of G. 
     Basically, the softmax is over the distribution of input summations of the
     competing cells (in a given CM), but we use G to modulate (i.e. sharpen
     vs. flatten) those distributions.</span></li>
 <li style="margin-top:0px;margin-bottom:0px;vertical-align:middle"><span style="font-family:Calibri;font-size:11pt">When G is near 1 (perfect
     familiarity), the distributions are greatly sharpened, causing the
     expected number of CMs in which the cell with the highest input summation
     wins (and thus, the expected intersection of the resulting SDR with the
     closest matching previously stored SDR) to increase towards Q.  When
     G is near 0 (completely novel), the distributions are flattened, causing
     the expected number of CMs in which the cell with max input summation wins
     (and thus, the expected intersection of the resulting SDR with the closest
     matching previously stored SDR) to decrease towards chance.  In other
     words, this G-based modulation of the distributions, which can be viewed
     as varying the amount of noise in the choice process, achieves similarity
     preservation.</span></li>
</ul>

<p style="margin:0in 0in 0in 0.375in;font-family:Calibri;font-size:11pt"> </p>

<p style="margin:0in 0in 0in 0.375in;font-family:Calibri;font-size:11pt">I
encourage members of this community to explore the app to understand this
simple and more powerful alternative to LSH.</p>

<p style="margin:0in 0in 0in 0.375in;font-family:Calibri;font-size:11pt"> </p>

<p style="margin:0in 0in 0in 0.375in;font-family:Calibri;font-size:11pt">Sincerely,</p>

<p style="margin:0in 0in 0in 0.375in;font-family:Calibri;font-size:11pt">Rod
Rinkus</p>

<p style="margin:0in 0in 0in 0.375in;font-family:Calibri;font-size:11pt"> </p>

<p style="margin:0in 0in 0in 0.375in;font-family:Calibri;font-size:11pt"> </p>





<br clear="all"><br>-- <br><div class="gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><div>Gerard (Rod) Rinkus, PhD<br>President,<br>rod at neurithmicsystems dot com<br><a href="http://sparsey.com" target="_blank">Neurithmic Systems LLC</a><br>275 Grove Street, Suite 2-400<br>Newton, MA 02466<br>617-997-6272<br><br>Visiting Scientist, Lisman Lab<br>Volen Center for Complex Systems<br>Brandeis University, Waltham, MA<br>grinkus at brandeis dot edu<br><a href="http://people.brandeis.edu/%7Egrinkus/" target="_blank">http://people.brandeis.edu/~grinkus/</a><a href="http://people.brandeis.edu/%7Egrinkus/" target="_blank"></a>
</div></div></div>
</div>