<div dir="ltr"><div style="font-size:12.8px">Dear faculty and students,</div><div style="font-size:12.8px"><br></div><div style="font-size:12.8px">We look forward to seeing you next Tuesday, Dec 12, at noon in NSH 3305 for AI Seminar sponsored by Apple. To learn more about the seminar series, please visit the AI Seminar <a href="http://www.cs.cmu.edu/~aiseminar/" target="_blank">webpage</a>.</div><div style="font-size:12.8px"><br></div><div><span style="font-size:12.8px">On Tuesday, <a href="http://www.cs.cmu.edu/~vsadhana/">Veeranjaneyulu Sadhanala</a> will give the following talk: </span></div><div style="font-size:12.8px"><br></div><div><div><span style="font-size:12.8px">Title: Escaping saddle points in neural network training and other non-convex optimization problems</span></div><div style="font-size:12.8px"><span style="font-size:12.8px"><br></span></div><div style="font-size:12.8px"><span style="font-size:12.8px">Abstract: </span></div><div style="font-size:12.8px"><span style="font-size:12.8px"><br></span></div><div><span style="font-size:12.8px">In non-convex optimization problems, first-order based methods can get stuck at saddle points which are not even local minima. The generalization error at saddle points is typically large and hence it is important to move away from them. We discuss recently developed algorithms to escape saddle points. In particular, we discuss gradient descent perturbed with additive isotropic noise and Newton method with cubic regularization. They converge to \epsilon-second order stationary points (informally, local minima) in O(polylog(d) / \epsilon^2) time and O(1/ \epsilon^1.5) iterations respectively under some conditions on the structure of the objective function.</span><br></div></div><div><span style="font-size:12.8px"><br></span></div></div>