<div dir="ltr">Dear all,<div><br></div><div><div>We look forward to seeing you<b> <u>today</u>, </b><b>this Thursday (4/20)</b> from <b><font color="#ff0000">1</font></b><font color="#ff0000"><b>2:00-1:00 PM (U.S. Eastern time)</b></font> for the next talk of this semester's <b>CMU AI Seminar</b>, sponsored by <a href="https://sambanova.ai/" target="_blank">SambaNova Systems</a>. The seminar will be held in GHC 6115 <b>with pizza provided </b>and will<b> </b>be streamed on Zoom.</div><div><br></div><div>To learn more about the seminar series or to see the future schedule, please visit the <a href="http://www.cs.cmu.edu/~aiseminar/" target="_blank">seminar website</a>.</div><div><br></div><font color="#0b5394"><span style="background-color:rgb(255,255,0)">Today (4/20), <u>Bingbin Liu</u> </span><span style="background-color:rgb(255,255,0)">(CMU) will be giving a talk titled </span><b style="background-color:rgb(255,255,0)">"</b><span style="background-color:rgb(255,255,0)"><b>Thinking Fast with Transformers: Algorithmic Reasoning via Shortcuts</b></span><b style="background-color:rgb(255,255,0)">".</b></font></div><div><font color="#0b5394"><span style="background-color:rgb(255,255,0)"><br></span><b>Title</b>: Thinking Fast with Transformers: Algorithmic Reasoning via Shortcuts<br><br></font><div><font color="#0b5394"><b>Talk Abstract</b>: Algorithmic reasoning requires capabilities which are most naturally understood through recurrent models of computation, like the Turing machine. However, Transformer models, while lacking recurrence, are able to perform such reasoning using far fewer layers than the number of reasoning steps. This raises the question: what solutions are these shallow and non-recurrent models finding? In this talk, we will formalize reasoning in the setting of automata, and show that the computation of an automaton on an input sequence of length T can be replicated exactly by Transformers with o(T) layers, which we call "shortcuts". We provide two constructions, with O(log T) layers for all automata and O(1) layers for solvable automata. Empirically, our results from synthetic experiments show that shallow solutions can also be found in practice.</font><div><div><font color="#0b5394"><br></font></div><div><font color="#0b5394"><b>Speaker Bio:</b> Bingbin Liu is a fourth-year PhD student at the Machine Learning Department of Carnegie Mellon University, co-advised by Pradeep Ravikumar and Andrej Risteski. Her research focuses on the theoretical understanding of self-supervised learning and unsupervised learning, often motivated by findings in vision and language.</font><br><font color="#0b5394"> </font><font color="#0b5394"><br></font></div><div><font color="#0b5394"><b>In person: </b>GHC 6115</font></div><div><font color="#0b5394"><b>Zoom Link</b>:  <a href="https://cmu.zoom.us/j/99510233317?pwd=ZGx4aExNZ1FNaGY4SHI3Qlh0YjNWUT09" target="_blank">https://cmu.zoom.us/j/99510233317?pwd=ZGx4aExNZ1FNaGY4SHI3Qlh0YjNWUT09</a></font></div></div></div></div><div><br></div><div>Thanks,</div><div>Asher Trockman</div></div>