<div dir="ltr">Dear all,<div><br></div><div>Just a reminder that the CMU AI Seminar is tomorrow 12pm-1pm:

<a href="https://www.google.com/url?q=https://cmu.zoom.us/j/97788824898?pwd%3DalM4T1EvK1VHdEZ6aWdOa0lWOHdrZz09&sa=D&source=calendar&ust=1636461071062736&usg=AOvVaw1uuw9SRd6OXo_LaYjjKNvz" target="_blank" style="color:rgb(26,115,232);font-family:Roboto,Helvetica,Arial,sans-serif;font-size:14px;white-space:pre-wrap">https://cmu.zoom.us/j/97788824898?pwd=alM4T1EvK1VHdEZ6aWdOa0lWOHdrZz09</a>.<br><br><b>Professor Quanquan Gu (UCLA) </b>will be giving a talk on some surprising findings, such as the implicit regularization effect, of SGD.<br><br>Thanks,<br>Asher<br></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Fri, Nov 5, 2021 at 12:07 PM Shaojie Bai <<a href="mailto:shaojieb@cs.cmu.edu" target="_blank">shaojieb@cs.cmu.edu</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div>Dear all,<br><br>We look forward to seeing you <b>next Tuesday (11/9)</b> from <b><font color="#ff0000">1</font></b><font color="#ff0000"><b>2:00-1:00 PM (U.S. Eastern time)</b></font> for the next talk of our <b>CMU <span>AI</span> <span>Seminar</span></b>, sponsored by <a href="https://www.morganstanley.com/about-us/technology/" target="_blank">Morgan Stanley</a>.<br><br>To learn more about the <span>seminar</span> series or see the future schedule, please visit the <a href="http://www.cs.cmu.edu/~aiseminar/" target="_blank"><span>seminar</span> website</a>.<br><br><font color="#0b5394" style="background-color:rgb(255,255,0)">On 11/9, <b><u>Quanquan Gu</u></b> (UCLA) will be giving a talk on "<b>Stochastic Gradient Descent: Benign Overfitting and Implicit Regularization</b></font><font color="#0b5394" style="background-color:rgb(255,255,0)">" and his group's latest research progress on DL theory.</font></div><div><br><font color="#0b5394"><b>Title:</b> Stochastic Gradient Descent: Benign Overfitting and Implicit Regularization<br><br><b>Talk Abstract:</b> There is an increasing realization that algorithmic inductive biases are central in preventing overfitting; empirically, we often see a benign overfitting phenomenon in overparameterized settings for natural learning algorithms, such as stochastic gradient descent (SGD), where little to no explicit regularization has been employed. In the first part of this talk, I will discuss benign overfitting of constant-stepsize SGD in arguably the most basic setting: linear regression in the overparameterized regime. Our main results provide a sharp excess risk bound, stated in terms of the full eigenspectrum of the data covariance matrix, that reveals a bias-variance decomposition characterizing when generalization is possible. In the second part of this talk, I will introduce sharp instance-based comparisons of the implicit regularization of SGD with the explicit regularization of ridge regression, which are conducted in a sample-inflation manner. I will show that provided up to polylogarithmically more sample size, the generalization performance of SGD is always no worse than that of ridge regression for a broad class of least squares problem instances, and could be much better for some problem instances. This suggests the benefits of implicit regularization in SGD compared with the explicit regularization of ridge regression. This is joint work with Difan Zou, Jingfeng Wu, Vladimir Braverman, Dean P. Foster and Sham M. Kakade.</font></div><div><font color="#0b5394"><br><b>Speaker Bio: </b>Quanquan Gu is an Assistant Professor of Computer Science at UCLA. His research is in the area of artificial intelligence and machine learning, with a focus on developing and analyzing nonconvex optimization algorithms for machine learning to understand large-scale, dynamic, complex, and heterogeneous data and building the theoretical foundations of deep learning and reinforcement learning. He received his Ph.D. degree in Computer Science from the University of Illinois at Urbana-Champaign in 2014. He is a recipient of the NSF CAREER Award, Simons Berkeley Research Fellowship among other industrial research awards.</font><br><br><b>Zoom Link: </b><a href="https://www.google.com/url?q=https://cmu.zoom.us/j/97788824898?pwd%3DalM4T1EvK1VHdEZ6aWdOa0lWOHdrZz09&sa=D&source=calendar&ust=1636461071062736&usg=AOvVaw1uuw9SRd6OXo_LaYjjKNvz" style="color:rgb(26,115,232);font-family:Roboto,Helvetica,Arial,sans-serif;font-size:14px;white-space:pre-wrap" target="_blank">https://cmu.zoom.us/j/97788824898?pwd=alM4T1EvK1VHdEZ6aWdOa0lWOHdrZz09</a></div></div>
</blockquote></div>