<div dir="ltr">Dear all,<br><br>We look forward to seeing you <span style="background-color:rgb(255,255,0)">next Tuesday (04/16) from 04:00-5:00 PM (ET) </span>for the next talk of this semester's CMU AI Seminar, sponsored by SambaNova Systems (<a href="https://sambanova.ai">https://sambanova.ai</a>). The seminar will be held in <b>NSH 3305 </b>with pizza provided and will be streamed on Zoom.<br><br>To learn more about the seminar series or to see the future schedule, please visit the seminar website (<a href="http://www.cs.cmu.edu/~aiseminar/">http://www.cs.cmu.edu/~aiseminar/</a>).<br><br><span style="background-color:rgb(255,255,0)">Next Tuesday (04/16), Mingjie Sun (CMU) will be giving a talk titled "Massive Activations in Large Language Models".<br><br></span><b>Talk Abstract: </b><br>In the 2020s, Transformers have dominated the deep learning landscape, powering almost all advanced AI systems. Despite their promising capabilities, their inner workings are often overlooked and poorly understood. In this talk, we delve into an intriguing phenomenon we observe in Large Language Models (LLMs): very few activations within the hidden states exhibit exceptionally high magnitudes, e.g., 100,000 times greater than others. We call them massive activations. We present our investigation of massive activations in LLMs and show how they are closely connected to the self-attention mechanism — the core building block of Transformers. Last, we go beyond the language domain and discuss the presence of massive activations in Vision Transformers.<br><br><b>Speaker Bio: </b><div>Mingjie Sun is a Ph.D. student in the Computer Science Department at CMU. His research focuses on improving the efficiency and empirical understanding of foundation models.<br><br><b><font color="#3d85c6">In person: NSH 3305<br>Zoom Link:  <a href="https://cmu.zoom.us/j/99510233317?pwd=ZGx4aExNZ1FNaGY4SHI3Qlh0YjNWUT09">https://cmu.zoom.us/j/99510233317?pwd=ZGx4aExNZ1FNaGY4SHI3Qlh0YjNWUT09</a></font></b><br></div><div><b><font color="#3d85c6"><br></font></b></div><br>- Victor & Asher</div>