<div dir="ltr">Reminder this is happening at 2pm in NSH 3305!</div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Tue, Feb 21, 2023 at 4:31 PM Asher Trockman <<a href="mailto:ashert@cs.cmu.edu">ashert@cs.cmu.edu</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-style:solid;border-left-color:rgb(204,204,204);padding-left:1ex"><div dir="ltr">Dear all,<div><br></div><div><div>We look forward to seeing you<b> </b><b>this Thursday (2/23)</b> from <font color="#ff0000"><b>2:00-3:00 PM (U.S. Eastern time)</b></font> for a special installment of this semester's <b>CMU AI Seminar</b>, sponsored by <a href="https://sambanova.ai/" target="_blank">SambaNova Systems</a>. The seminar will be held in <b><u>NSH 3305</u></b> with<b> pizza provided </b>and will<b> </b>be streamed on Zoom.<span> </span><b>Note:</b> The speaker will be <u><b>in person</b></u>.</div><div><br></div><div>To learn more about the seminar series or to see the future schedule, please visit the <a href="http://www.cs.cmu.edu/~aiseminar/" target="_blank">seminar website</a>.</div><div><br></div><font color="#0b5394"><span style="background-color:rgb(255,255,0)">This Thursday (2/23), <u>Ludwig Schmidt</u></span><b style="background-color:rgb(255,255,0)"> </b><span style="background-color:rgb(255,255,0)">(University of Washington) will be giving a talk titled </span><b style="background-color:rgb(255,255,0)">"</b><b style="background-color:rgb(255,255,0)">A data-centric view on reliable generalization: From ImageNet to LAION-5B</b></font><b style="color:rgb(11,83,148);background-color:rgb(255,255,0)">".</b></div><div><font color="#0b5394"><span style="background-color:rgb(255,255,0)"><br></span><b>Title</b>: A data-centric view on reliable generalization: From ImageNet to LAION-5B<br><br></font><div><div><font color="#0b5394"><b>Talk Abstract</b>: Researchers have proposed many methods to make neural networks more reliable under distribution shift, yet there is still large room for improvement. Are better training algorithms or training data the more promising way forward? In this talk, we study this question in the context of OpenAI’s CLIP model for learning from image-text data.</font><div><font color="#0b5394"><br></font></div><div><font color="#0b5394">First, we survey the current robustness landscape based on a large-scale experimental study involving more than 200 different models and test conditions. The CLIP models stand out with unprecedented robustness on multiple challenging distribution shifts. To further improve CLIP, we then introduce new methods for reliably fine-tuning models by interpolating the weights of multiple models. Next, we investigate the cause of CLIP’s robustness via controlled experiments to disentangle the influence of language supervision and training distribution. While CLIP leveraged large scale language supervision for the first time, its robustness actually comes from the pre-training dataset.<br><br></font></div><div><font color="#0b5394">We conclude with a brief overview of ongoing work to improve pre-training datasets: LAION-5B, the largest public image-text dataset, and initial experiments to increase the robustness induced by pre-training data.</font></div><div><div><font color="#0b5394"><br></font></div><div><font color="#0b5394"><b>Speaker Bio:</b> Ludwig Schmidt is an assistant professor in the Paul G. Allen School of Computer Science & Engineering at the University of Washington. Ludwig’s research interests revolve around the empirical foundations of machine learning, often with a focus on datasets, reliable generalization, and large models. Ludwig completed his PhD at MIT under the supervision of Piotr Indyk and was a postdoc at UC Berkeley hosted by Benjamin Recht and Moritz Hardt. Recently, Ludwig’s research group contributed to multimodal language & vision models by creating OpenCLIP and the LAION-5B dataset. Ludwig’s research received a new horizons award at EAAMO, best paper awards at ICML & NeurIPS, a best paper finalist at CVPR, and the Sprowls dissertation award from MIT.</font><br></div><div><br></div><div><font color="#0b5394"><b>In person: </b>NSH 3305</font></div><div><font color="#0b5394"><b>Zoom Link</b>:  <a href="https://cmu.zoom.us/j/99510233317?pwd=ZGx4aExNZ1FNaGY4SHI3Qlh0YjNWUT09" target="_blank">https://cmu.zoom.us/j/99510233317?pwd=ZGx4aExNZ1FNaGY4SHI3Qlh0YjNWUT09</a></font></div></div></div></div></div><div><br></div><div>Thanks,</div><div>Asher Trockman</div></div>
</blockquote></div>