<div dir="ltr">Dear all,<div><br></div><div><div>We look forward to seeing you <b>this Tuesday (11/1)</b> from <b><font color="#ff0000">1</font></b><font color="#ff0000"><b>2:00-1:00 PM (U.S. Eastern time)</b></font> for the next talk of this semester's <b>CMU AI Seminar</b>, sponsored by <a href="https://sambanova.ai/" target="_blank">SambaNova Systems</a>. The seminar will be held in NSH 3305<span class="gmail-Apple-converted-space"> </span><b>with pizza provided<span class="gmail-Apple-converted-space"> </span></b>and will<b> </b>be streamed on Zoom.</div><div><br></div><div>To learn more about the seminar series or to see the future schedule, please visit the <a href="http://www.cs.cmu.edu/~aiseminar/" target="_blank">seminar website</a>.</div><div><br></div><font color="#0b5394"><span style="background-color:rgb(255,255,0)">On 11/1,<span class="gmail-Apple-converted-space"> </span></span></font><span style="background-color:rgb(255,255,0)"><font color="#0b5394"><b><u>Sébastien Bubeck</u></b></font></span><font color="#0b5394"><b style="background-color:rgb(255,255,0)"> </b><span style="background-color:rgb(255,255,0)">(Microsoft Research) will be giving a talk titled </span><b style="background-color:rgb(255,255,0)">"</b></font><span style="background-color:rgb(255,255,0)"><font color="#0b5394"><b>Unveiling Transformers with LEGO</b></font></span><font color="#0b5394"><b style="background-color:rgb(255,255,0)">" </b><span style="background-color:rgb(255,255,0)">to share his recent work on probing the inner workings of transformers using a synthetic reasoning task.</span></font></div><div><font color="#0b5394"><span style="background-color:rgb(255,255,0)"><br></span><b>Title</b>: Unveiling Transformers with LEGO</font><div><font color="#0b5394"><br></font><div><font color="#0b5394"><b>Talk Abstract</b>: The discovery of the transformer architecture was a paradigm shifting event for deep learning. However, these architectures are arguably even harder to understand than say convolutional neural networks. In this work we propose a synthetic reasoning task, called LEGO, to probe the inner workings of transformers. We obtain some insights on multi-head attention, the effect of pretraining, as well as overfitting issues. <br>Joint work with Yi Zhang, Arturs Backurs, Ronen Eldan, Suriya Gunasekar, and Tal Wagner.</font><div><font color="#0b5394"><br><b>Speaker Bio</b>: Sebastien Bubeck leads the Machine Learning Foundations group at Microsoft Research Redmond. He joined MSR in 2014, after three years as an assistant professor at Princeton University. He received several best paper awards at machine learning conferences for his work on online decision making, convex optimization, and adversarial robustness (NeurIPS 2021, NeurIPS 2018, ALT 2018, COLT 2016, COLT 2009). He also wrote two monographs, “Regret Analysis of Stochastic and Non-Stochastic Multi-Armed Bandit Problems” (2012) and “Convex Optimization: Algorithms and Complexity” (2014).</font><div><br></div><div><b>In person: </b>NSH 3305</div><div><b>Zoom Link</b>:  <a href="https://cmu.zoom.us/j/99510233317?pwd=ZGx4aExNZ1FNaGY4SHI3Qlh0YjNWUT09" target="_blank">https://cmu.zoom.us/j/99510233317?pwd=ZGx4aExNZ1FNaGY4SHI3Qlh0YjNWUT09</a></div></div></div></div></div><div><br></div><div>Thanks,</div><div>Asher Trockman</div></div>