<div dir="ltr">Dear all,<div><br></div><div><div>We look forward to seeing you <b>this Wednesday (10/25)</b> from <b><font color="#ff0000"><u>10</u></font></b><font color="#ff0000"><b><u>:00-11:00 AM</u> (U.S. Eastern time)</b></font> for a special installment of this semester's <b>CMU AI Seminar</b>, sponsored by <a href="https://sambanova.ai/" target="_blank">SambaNova Systems</a>. The seminar will be held in GHC 6115 and will<b> </b>be streamed on Zoom. <b>(Note the earlier time! ⏰)</b></div><div><br></div><div>To learn more about the seminar series or to see the future schedule, please visit the <a href="http://www.cs.cmu.edu/~aiseminar/" target="_blank">seminar website</a>.</div><div><br></div><font color="#0b5394"><span style="background-color:rgb(255,255,0)">On this Wednesday (10/25), <u>Sanae Lotfi</u> </span><span style="background-color:rgb(255,255,0)">(NYU) will be giving a talk titled </span><b style="background-color:rgb(255,255,0)">"</b><span style="background-color:rgb(255,255,0)"><b>Are the Marginal Likelihood and PAC-Bayes Bounds the right proxies for Generalization?</b></span></font><b style="color:rgb(11,83,148);background-color:rgb(255,255,0)">"</b><font color="#0b5394" style="background-color:rgb(255,255,0)">.</font></div><div><font color="#0b5394"><span style="background-color:rgb(255,255,0)"><br></span><b>Title</b>: Are the Marginal Likelihood and PAC-Bayes Bounds the right proxies for Generalization?<br><br></font><div><font color="#0b5394"><b>Talk Abstract</b>: How do we compare between hypotheses that are entirely consistent with observations? The marginal likelihood, which represents the probability of generating our observations from a prior, provides a distinctive approach to this foundational question. We first highlight the conceptual and practical issues in using the marginal likelihood as a proxy for generalization. Namely, we show how the marginal likelihood can be negatively correlated with generalization and can lead to both underfitting and overfitting in hyperparameter learning. We provide a partial remedy through a conditional marginal likelihood, which we show to be more aligned with generalization, and practically valuable for large-scale hyperparameter learning, such as in deep kernel learning. PAC-Bayes bounds are another expression of Occam’s razor where simpler descriptions of the data generalize better. While there has been progress in developing tighter PAC-Bayes bounds for deep neural networks, these bounds tend to be uninformative about why deep learning works. In this talk, I will also present our compression approach based on quantizing neural network parameters in a linear subspace, which profoundly improves on previous results to provide state-of-the-art generalization bounds on a variety of tasks. We use these tight bounds to better understand the role of model size, equivariance, and the implicit biases of optimization for generalization in deep learning. Notably, our work shows that large models can be compressed to a much greater extent than previously known. Finally, I will discuss the connection between the marginal likelihood and PAC-Bayes bounds for model selection.  </font></div><div><div><div><font color="#0b5394"> </font><font color="#0b5394"><br></font></div><div><font color="#0b5394"><b>Speaker Bio:</b> <a href="https://sanaelotfi.github.io">Sanae Lotfi</a> is a PhD student at NYU, advised by Professor Andrew Gordon Wilson. Sanae works on the foundations of deep learning. Her goal is to understand and quantify generalization in deep learning, and use this understanding to build more robust and reliable machine learning models. Sanae's PhD research has been recognized with an ICML Outstanding Paper Award and is generously supported by the Microsoft and DeepMind Fellowships, the Meta AI Mentorship Program and the NYU CDS Fellowship. Prior to joining NYU, Sanae obtained a Master’s degree in applied mathematics from Polytechnique Montreal, where she worked on designing stochastic first and second order algorithms with compelling theoretical and empirical properties for large-scale optimization.</font></div><div><font color="#0b5394"><br></font></div><div><font color="#0b5394"><b>In person: </b>GHC 6115</font></div><div><font color="#0b5394"><b>Zoom Link</b>:  <a href="https://cmu.zoom.us/j/99510233317?pwd=ZGx4aExNZ1FNaGY4SHI3Qlh0YjNWUT09" target="_blank">https://cmu.zoom.us/j/99510233317?pwd=ZGx4aExNZ1FNaGY4SHI3Qlh0YjNWUT09</a></font></div></div></div></div><div><br></div><div>Thanks,</div><div>Asher Trockman</div></div>