<div dir="ltr">Dear all,<div><br></div><div>Just a reminder that the <a href="http://www.cs.cmu.edu/~aiseminar/" target="_blank">CMU AI Seminar</a> is tomorrow <b><font color="#ff0000">1</font></b><font color="#ff0000"><b>2pm-1pm</b></font>: <a href="https://cmu.zoom.us/j/93099996457?pwd=b3BSSHp2RWZWQjZ0SUE4ZkdKSDk4UT09" target="_blank">https://cmu.zoom.us/j/93099996457?pwd=b3BSSHp2RWZWQjZ0SUE4ZkdKSDk4UT09</a>. </div><div><br></div><div>Misha Khodak (CMU CSD) will be talking about his recent ICLR work on model compression with layer factorization.<br></div><div><br></div><div>Thanks,</div><div>Shaojie</div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Thu, Apr 15, 2021 at 12:22 PM Shaojie Bai <<a href="mailto:shaojieb@andrew.cmu.edu">shaojieb@andrew.cmu.edu</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div>Dear all,</div><div><br></div><div>We look forward to seeing you <b>next Tuesday (4/20)</b> from <b><font color="#ff0000">1</font></b><font color="#ff0000"><b>2:00-1:00 PM (U.S. Eastern time)</b></font> for the next talk of our <b>CMU AI seminar</b>, sponsored by <a href="https://careers.fortive.com/" target="_blank">Fortive</a>.</div><div><br></div><div>To learn more about the seminar series or see the future schedule, please visit the <a href="http://www.cs.cmu.edu/~aiseminar/" target="_blank">seminar website</a>.<a href="http://www.cs.cmu.edu/~aiseminar/" target="_blank"></a></div><div><br></div><font color="#0b5394" style="background-color:rgb(255,255,0)">On 4/20, <b><u>Misha Khodak</u></b> (CMU CSD) will be giving a talk on "</font><b style="background-color:rgb(255,255,0)"><font color="#0b5394">Factorized Layers Revisited: Compressing Deep Neural Networks Without Playing the Lottery</font></b><font color="#0b5394" style="background-color:rgb(255,255,0)">".</font><br><br><font color="#0b5394"><b>Title</b>: Factorized Layers Revisited: Compressing Deep Neural Networks Without Playing the Lottery  </font><div><font color="#0b5394"><br><b>Talk Abstract</b>: Machine learning models are rapidly growing in size, leading to increased training and deployment costs. While the most popular approach for training compressed models is trying to guess good "lottery tickets" or sparse subnetworks, we revisit the low-rank factorization approach, in which weights matrices are replaced by products of smaller matrices. We extend recent analyses of optimization of deep networks to motivate simple initialization and regularization schemes for improving the training of these factorized layers. Empirically these methods yield higher accuracies than popular pruning and lottery ticket approaches at the same compression level. We further demonstrate their usefulness in two settings beyond model compression: simplifying knowledge distillation and training Transformer-based architectures such as BERT. This is joint work with Neil Tenenholtz, Lester Mackey, and Nicolo Fusi.</font><div><br><b style="color:rgb(11,83,148)">Speaker Bio</b><font color="#0b5394">: Misha Khodaka is a PhD student in Carnegie Mellon University's Computer Science Department advised by Nina Balcan and Ameet Talwalkar. His research focuses on foundations and applications of machine learning, most recently neural architecture search, meta-learning, and unsupervised representation learning. He recently spent time as an intern with Nicolo Fusi at Microsoft Research - New England and previously received an AB in Mathematics and an MSE in Computer Science from Princeton University, where he worked with Sanjeev Arora.</font><div><br></div><div><b>Zoom Link</b>: <a href="https://cmu.zoom.us/j/93099996457?pwd=b3BSSHp2RWZWQjZ0SUE4ZkdKSDk4UT09" target="_blank">https://cmu.zoom.us/j/93099996457?pwd=b3BSSHp2RWZWQjZ0SUE4ZkdKSDk4UT09</a><br><br>Thanks,<br>Shaojie Bai (MLD)</div></div></div></div>
</blockquote></div>