<div dir="ltr">Virginia's talk is happening in less than an hour. <div><br></div><div>See you there.<br></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Wed, Oct 23, 2024 at 12:28 PM Victor Akinwande <<a href="mailto:vakinwan@andrew.cmu.edu">vakinwan@andrew.cmu.edu</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr">Dear all,<br><br>We look forward to seeing you next <b>Tuesday (10/29) from 12:00-1:00 PM (ET)</b> for the next talk of this semester's CMU AI Seminar, sponsored by <a href="https://sambanova.ai" target="_blank">SambaNova Systems</a>. The seminar will be held in <b>GHC 6115</b> with pizza provided and will be streamed on Zoom.<br><br>To learn more about the seminar series or to see the future schedule, please visit the seminar website (<a href="http://www.cs.cmu.edu/~aiseminar/" target="_blank">http://www.cs.cmu.edu/~aiseminar/</a>).<div><br><span style="background-color:rgb(255,255,0)">Next Tuesday (10/29), Virginia Smith (CMU) will be giving a talk titled "A Reality Check for Vibes-Based ML Safety".</span><br><br><b>Abstract:</b> Machine learning applications are increasingly reliant on black-box pretrained models. To ensure safe use of these models, techniques such as unlearning, guardrails, and watermarking have been proposed to curb model behavior and audit usage. Unfortunately, while these post-hoc approaches give positive safety ‘vibes’ when evaluated in isolation, our work shows that existing techniques are quite brittle when deployed as part of larger systems. In a series of recent works, we show that: (a) small amounts of auxiliary data can be used to 'jog' the memory of unlearned models; (b) current unlearning benchmarks obscure deficiencies in both finetuning and guardrail-based approaches; and (c) simple, scalable attacks erode existing LLM watermarking systems and reveal fundamental trade-offs in watermark design. Taken together, these results highlight major deficiencies in the practical use of post-hoc ML safety methods. We end by discussing promising alternatives to ML safety, which instead aim to ensure safety by design during the development of ML systems.<br><br><b>Bio: </b>Virginia Smith is the Leonardo Associate Professor of Machine Learning at Carnegie Mellon University. Her current work addresses challenges related to safety and efficiency in large-scale machine learning systems.<br><br><b>In person: GHC 6115<br>Zoom Link:  <font color="#3d85c6"><a href="https://cmu.zoom.us/j/99510233317?pwd=ZGx4aExNZ1FNaGY4SHI3Qlh0YjNWUT09" target="_blank">https://cmu.zoom.us/j/99510233317?pwd=ZGx4aExNZ1FNaGY4SHI3Qlh0YjNWUT09</a></font></b><br></div><div><b><font color="#3d85c6"><br></font></b></div><br>- Victor</div>
</blockquote></div>