<div dir="ltr"><div class="gmail_default" style="color:#0b5394"><div class="gmail_default" style="color:rgb(34,34,34)"><div class="gmail_default">Dear faculty and students:<br><br>We look forward to seeing you next Tuesday, Feb. 19th, at noon in <b>NSH 3305 </b>for our <span class="gmail-m_4957981924954342018gmail-m_-1996664372483602181gmail-m_-5537467798694470925gmail-m_5275091207080920940gmail-m_-1718654114962995597gmail-m_-4621237071107487884gmail-m_1293254150483326263gmail-m_-6212176152808792804gmail-m_595813803584071531gmail-m_916260871951492389gmail-m_-3184835377203912231gmail-m_-7381204479734663679gmail-il"><span class="gmail-m_4957981924954342018gmail-m_-1996664372483602181gmail-m_-5537467798694470925gmail-m_5275091207080920940gmail-m_-1718654114962995597gmail-m_-4621237071107487884gmail-m_1293254150483326263gmail-m_-6212176152808792804gmail-m_595813803584071531gmail-m_916260871951492389gmail-m_-3184835377203912231gmail-il"><span class="gmail-m_4957981924954342018gmail-m_-1996664372483602181gmail-m_-5537467798694470925gmail-m_5275091207080920940gmail-m_-1718654114962995597gmail-m_-4621237071107487884gmail-m_1293254150483326263gmail-m_-6212176152808792804gmail-m_595813803584071531gmail-m_916260871951492389gmail-il"><span class="gmail-m_4957981924954342018gmail-m_-1996664372483602181gmail-m_-5537467798694470925gmail-m_5275091207080920940gmail-m_-1718654114962995597gmail-m_-4621237071107487884gmail-m_1293254150483326263gmail-m_-6212176152808792804gmail-m_595813803584071531gmail-il"><span class="gmail-m_4957981924954342018gmail-m_-1996664372483602181gmail-m_-5537467798694470925gmail-m_5275091207080920940gmail-m_-1718654114962995597gmail-m_-4621237071107487884gmail-m_1293254150483326263gmail-m_-6212176152808792804gmail-il"><span class="gmail-m_4957981924954342018gmail-m_-1996664372483602181gmail-m_-5537467798694470925gmail-m_5275091207080920940gmail-m_-1718654114962995597gmail-m_-4621237071107487884gmail-m_1293254150483326263gmail-il"><span class="gmail-m_4957981924954342018gmail-m_-1996664372483602181gmail-m_-5537467798694470925gmail-m_5275091207080920940gmail-m_-1718654114962995597gmail-m_-4621237071107487884gmail-il"><span class="gmail-m_4957981924954342018gmail-m_-1996664372483602181gmail-m_-5537467798694470925gmail-m_5275091207080920940gmail-m_-1718654114962995597gmail-il"><span class="gmail-m_4957981924954342018gmail-m_-1996664372483602181gmail-m_-5537467798694470925gmail-m_5275091207080920940gmail-il"><span class="gmail-m_4957981924954342018gmail-m_-1996664372483602181gmail-m_-5537467798694470925gmail-il"><span class="gmail-m_4957981924954342018gmail-m_-1996664372483602181gmail-il"><span class="gmail-m_4957981924954342018gmail-il"><span class="gmail-il">AI</span></span></span></span></span></span></span></span></span></span></span></span></span> <span class="gmail-m_4957981924954342018gmail-m_-1996664372483602181gmail-m_-5537467798694470925gmail-m_5275091207080920940gmail-m_-1718654114962995597gmail-m_-4621237071107487884gmail-m_1293254150483326263gmail-m_-6212176152808792804gmail-m_595813803584071531gmail-m_916260871951492389gmail-m_-3184835377203912231gmail-m_-7381204479734663679gmail-il"><span class="gmail-m_4957981924954342018gmail-m_-1996664372483602181gmail-m_-5537467798694470925gmail-m_5275091207080920940gmail-m_-1718654114962995597gmail-m_-4621237071107487884gmail-m_1293254150483326263gmail-m_-6212176152808792804gmail-m_595813803584071531gmail-m_916260871951492389gmail-m_-3184835377203912231gmail-il"><span class="gmail-m_4957981924954342018gmail-m_-1996664372483602181gmail-m_-5537467798694470925gmail-m_5275091207080920940gmail-m_-1718654114962995597gmail-m_-4621237071107487884gmail-m_1293254150483326263gmail-m_-6212176152808792804gmail-m_595813803584071531gmail-m_916260871951492389gmail-il"><span class="gmail-m_4957981924954342018gmail-m_-1996664372483602181gmail-m_-5537467798694470925gmail-m_5275091207080920940gmail-m_-1718654114962995597gmail-m_-4621237071107487884gmail-m_1293254150483326263gmail-m_-6212176152808792804gmail-m_595813803584071531gmail-il"><span class="gmail-m_4957981924954342018gmail-m_-1996664372483602181gmail-m_-5537467798694470925gmail-m_5275091207080920940gmail-m_-1718654114962995597gmail-m_-4621237071107487884gmail-m_1293254150483326263gmail-m_-6212176152808792804gmail-il"><span class="gmail-m_4957981924954342018gmail-m_-1996664372483602181gmail-m_-5537467798694470925gmail-m_5275091207080920940gmail-m_-1718654114962995597gmail-m_-4621237071107487884gmail-m_1293254150483326263gmail-il"><span class="gmail-m_4957981924954342018gmail-m_-1996664372483602181gmail-m_-5537467798694470925gmail-m_5275091207080920940gmail-m_-1718654114962995597gmail-m_-4621237071107487884gmail-il"><span class="gmail-m_4957981924954342018gmail-m_-1996664372483602181gmail-m_-5537467798694470925gmail-m_5275091207080920940gmail-m_-1718654114962995597gmail-il"><span class="gmail-m_4957981924954342018gmail-m_-1996664372483602181gmail-m_-5537467798694470925gmail-m_5275091207080920940gmail-il"><span class="gmail-m_4957981924954342018gmail-m_-1996664372483602181gmail-m_-5537467798694470925gmail-il"><span class="gmail-m_4957981924954342018gmail-m_-1996664372483602181gmail-il"><span class="gmail-m_4957981924954342018gmail-il"><span class="gmail-il">Seminar</span></span></span></span></span></span></span></span></span></span></span></span></span> sponsored by Apple. To learn more about the <span class="gmail-m_4957981924954342018gmail-m_-1996664372483602181gmail-m_-5537467798694470925gmail-m_5275091207080920940gmail-m_-1718654114962995597gmail-m_-4621237071107487884gmail-m_1293254150483326263gmail-m_-6212176152808792804gmail-m_595813803584071531gmail-m_916260871951492389gmail-m_-3184835377203912231gmail-m_-7381204479734663679gmail-il"><span class="gmail-m_4957981924954342018gmail-m_-1996664372483602181gmail-m_-5537467798694470925gmail-m_5275091207080920940gmail-m_-1718654114962995597gmail-m_-4621237071107487884gmail-m_1293254150483326263gmail-m_-6212176152808792804gmail-m_595813803584071531gmail-m_916260871951492389gmail-m_-3184835377203912231gmail-il"><span class="gmail-m_4957981924954342018gmail-m_-1996664372483602181gmail-m_-5537467798694470925gmail-m_5275091207080920940gmail-m_-1718654114962995597gmail-m_-4621237071107487884gmail-m_1293254150483326263gmail-m_-6212176152808792804gmail-m_595813803584071531gmail-m_916260871951492389gmail-il"><span class="gmail-m_4957981924954342018gmail-m_-1996664372483602181gmail-m_-5537467798694470925gmail-m_5275091207080920940gmail-m_-1718654114962995597gmail-m_-4621237071107487884gmail-m_1293254150483326263gmail-m_-6212176152808792804gmail-m_595813803584071531gmail-il"><span class="gmail-m_4957981924954342018gmail-m_-1996664372483602181gmail-m_-5537467798694470925gmail-m_5275091207080920940gmail-m_-1718654114962995597gmail-m_-4621237071107487884gmail-m_1293254150483326263gmail-m_-6212176152808792804gmail-il"><span class="gmail-m_4957981924954342018gmail-m_-1996664372483602181gmail-m_-5537467798694470925gmail-m_5275091207080920940gmail-m_-1718654114962995597gmail-m_-4621237071107487884gmail-m_1293254150483326263gmail-il"><span class="gmail-m_4957981924954342018gmail-m_-1996664372483602181gmail-m_-5537467798694470925gmail-m_5275091207080920940gmail-m_-1718654114962995597gmail-m_-4621237071107487884gmail-il"><span class="gmail-m_4957981924954342018gmail-m_-1996664372483602181gmail-m_-5537467798694470925gmail-m_5275091207080920940gmail-m_-1718654114962995597gmail-il"><span class="gmail-m_4957981924954342018gmail-m_-1996664372483602181gmail-m_-5537467798694470925gmail-m_5275091207080920940gmail-il"><span class="gmail-m_4957981924954342018gmail-m_-1996664372483602181gmail-m_-5537467798694470925gmail-il"><span class="gmail-m_4957981924954342018gmail-m_-1996664372483602181gmail-il"><span class="gmail-m_4957981924954342018gmail-il"><span class="gmail-il">seminar</span></span></span></span></span></span></span></span></span></span></span></span></span> series, please visit the website. </div><div class="gmail_default">On Tuesday, Simon Shaolei Du will give the following talk:</div><b>Title: Understanding Optimization and Generalization in Deep Learning: A Trajectory-based Analysis</b></div><div class="gmail_default" style="color:rgb(34,34,34)"><b><br></b><b>Abstract</b>: In this talk, I will present recent progress on understanding deep neural networks by analyzing the trajectory of the gradient descent algorithm. Using this analysis technique, we are able to explain:</div><div style="color:rgb(34,34,34)">1) why gradient descent finds a global minimum of the training loss even though the objective function is highly non-convex, and</div><div style="color:rgb(34,34,34)">2) why a neural network can generalize even the number of parameters in the neural network is more than the number of training data.</div><br class="gmail-Apple-interchange-newline"></div><div class="gmail_default" style="color:#0b5394"><div style="color:rgb(34,34,34)">Based on joint work with Sanjeev Arora,  Wei Hu, Jason D. Lee, Haochuan Li, Zhiyuan Li, Barnabas Poczos, Aarti Singh, Liwei Wang, Ruosong Wang, Xiyu Zhai</div><div style="color:rgb(34,34,34)"><br></div><div style="color:rgb(34,34,34)">References:</div><div style="color:rgb(34,34,34)"><a href="https://arxiv.org/abs/1810.02054" target="_blank">https://arxiv.org/abs/1810.02054</a><br></div><div style="color:rgb(34,34,34)"><a href="https://arxiv.org/abs/1811.03804" target="_blank">https://arxiv.org/abs/1811.03804</a><br></div><div style="color:rgb(34,34,34)"><a href="https://arxiv.org/abs/1901.08584" target="_blank">https://arxiv.org/abs/1901.08584</a></div><div style="color:rgb(34,34,34)"><br></div><div style="color:rgb(34,34,34)"><div><div>Bio:</div><div>Simon Shaolei Du is a Ph.D. student in the Machine Learning Department at the School of Computer Science, Carnegie Mellon University, advised by Professor Aarti Singh and Professor Barnabás Póczos.  His research interests broadly include topics in theoretical machine learning and statistics, such as deep learning, matrix factorization, convex/non-convex optimization, transfer learning, reinforcement learning, non-parametric statistics, and robust statistics. In 2015, he obtained his B.S. in Engineering Math & Statistics and B.S. in Electrical Engineering & Computer Science from the University of California, Berkeley. He has also spent time working at research labs of Microsoft and Facebook.</div></div></div></div>-- <br><div dir="ltr" class="gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><div><div dir="ltr"><div><span style="font-size:13px;border-collapse:collapse;color:rgb(136,136,136)"><b>Han Zhao<br>Machine Learning Department</b></span></div><div><span style="font-size:13px;border-collapse:collapse;color:rgb(136,136,136)"><b>School of Computer Science<br>Carnegie Mellon University<br>Mobile: +1-</b></span><b style="color:rgb(136,136,136);font-size:13px">412-652-4404</b></div></div></div></div></div></div>