<div dir="ltr">Dear all,<div><br></div><div><div>We look forward to seeing you <b>next Tuesday (4/5)</b> from <b><font color="#ff0000">1</font></b><font color="#ff0000"><b>2:00-1:00 PM (U.S. Eastern time)</b></font> for the next talk of our <b>CMU AI seminar</b>, sponsored by <a href="https://www.morganstanley.com/about-us/technology/" target="_blank">Morgan Stanley</a>.</div><div><br></div><div>To learn more about the seminar series or see the future schedule, please visit the <a href="http://www.cs.cmu.edu/~aiseminar/" target="_blank">seminar website</a>.</div><div><br></div><font color="#0b5394"><span style="background-color:rgb(255,255,0)">On 4/5,<span> </span></span><b style="background-color:rgb(255,255,0)"><u>Uri Alon</u> </b><span style="background-color:rgb(255,255,0)">(CMU) will be giving a talk titled<span> </span><b>"Neuro-Symbolic Language Modeling with Automaton-augmented Retrieval"</b><span> </span>to</span></font><span style="color:rgb(11,83,148);background-color:rgb(255,255,0)"> share his work on improving retrieval-based language modeling.</span></div><div><br><font color="#0b5394"><b>Title</b>: Neuro-Symbolic Language Modeling with Automaton-augmented Retrieval</font><div><font color="#0b5394"><br></font><div><font color="#0b5394"><b>Talk Abstract</b>: Retrieval-based language models (R-LM) model the probability of natural language text by combining a standard language model (LM) with examples retrieved from an external datastore at test time. While effective, a major bottleneck of using these models in practice is the computationally costly datastore search, which can be performed as frequently as every time step. In this talk, I will present RetoMaton - retrieval automaton - which approximates the datastore search, based on (1) clustering of entries into "states", and (2) state transitions from previous entries. This effectively results in a weighted finite automaton built on top of the datastore, instead of representing the datastore as a flat list. The creation of the automaton is unsupervised, and a RetoMaton can be constructed from any text collection: either the original training corpus or from another domain. Traversing this automaton at inference time, in parallel to the LM inference, reduces its perplexity, or alternatively saves up to 83% of the nearest neighbor searches over kNN-LM (Khandelwal et al., 2020), without hurting perplexity. </font><div><font color="#0b5394"><br><b>Speaker Bio</b>: Uri Alon is a Postdoctoral Researcher at LTI, working with Prof. Graham Neubig on NLP and learning from source code. Previously, he obtained his PhD at the Technion (Israel), where he worked on modeling programming languages and graphs. Currently, he is also interested in the synergy of neural models with symbolic components such as retrieval, programs, and automata. His personal website is at <a href="https://urialon.ml" target="_blank">https://urialon.ml</a>. Feel free to reach out with any questions or comments about the talk.</font><div><br></div><div><b>Zoom Link</b>:  <a href="https://cmu.zoom.us/j/99510233317?pwd=ZGx4aExNZ1FNaGY4SHI3Qlh0YjNWUT09" target="_blank">https://cmu.zoom.us/j/99510233317?pwd=ZGx4aExNZ1FNaGY4SHI3Qlh0YjNWUT09</a></div></div></div></div></div><div><br></div><div>Thanks,</div><div>Asher Trockman</div></div>