<div dir="ltr">Hi all,<div><br></div><div>Just a reminder that the <a href="http://www.cs.cmu.edu/~aiseminar/" target="_blank">CMU AI Seminar</a> is tomorrow 12pm-1pm: 

<a href="https://cmu.zoom.us/j/91853143684?pwd=UDNLNWpRcEs2WUx4S21UZ3d2RHV2dz09" target="_blank">https://cmu.zoom.us/j/91853143684?pwd=UDNLNWpRcEs2WUx4S21UZ3d2RHV2dz09</a>. </div><div><br></div><div>Will Grathwohl (University of Toronto) will be talking about discrete sampling and deep energy-based models (see below). </div><div><br></div><div>Thanks,</div><div>Shaojie</div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">---------- Forwarded message ---------<br>From: <strong class="gmail_sendername" dir="auto">Shaojie Bai</strong> <span dir="auto"><<a href="mailto:shaojieb@andrew.cmu.edu" target="_blank">shaojieb@andrew.cmu.edu</a>></span><br>Date: Tue, Feb 9, 2021 at 1:37 PM<br>Subject: AI Seminar sponsored by Fortive -- Feb 16 (Zoom) -- Will Grathwohl (U of Toronto) -- Using and Abusing Gradients for Discrete Sampling and Energy-Based Models<br>To:  <<a href="mailto:ai-seminar-announce@cs.cmu.edu" target="_blank">ai-seminar-announce@cs.cmu.edu</a>><br></div><br><br><div dir="ltr"><div>Dear all,</div><div><br></div><div>We look forward to seeing you <b>next Tuesday (2/16)</b> from 12:00-1:00 PM (U.S. Eastern time) for the next talk of our <b>CMU AI seminar</b>, sponsored by <a href="https://careers.fortive.com/" target="_blank">Fortive</a>.</div><div><br></div><div>To learn more about the seminar series or see the future schedule, please visit the <a href="http://www.cs.cmu.edu/~aiseminar/" target="_blank">seminar website</a>.<a href="http://www.cs.cmu.edu/~aiseminar/" target="_blank"></a></div><div><br></div><font color="#0b5394" style="background-color:rgb(255,255,0)">On 2/16, <b><a href="http://www.cs.toronto.edu/~wgrathwohl/" target="_blank">W<u>ill Grathwohl</u></a></b> (University of Toronto) will be giving a talk on "<b>Using and Abusing Gradients for Discrete Sampling and Energy-Based Models</b>."</font><br><br><font color="#0b5394"><b>Title</b>: Using and Abusing Gradients for Discrete Sampling and Energy-Based Models<br><br><b>Talk Abstract</b>: Deep energy-based models have quickly become a popular and successful approach for generative modeling in high dimensions. The success of these models can mainly be attributed to improvements in MCMC sampling such as Langevin Dynamics and training with large persistent Markov chains. Because of the reliance on gradient-based sampling, these models have been successful in modeling continuous data. As it stands, the same solution cannot be applied when dealing with discrete data. In this work, we propose a general and automatic approximate sampling strategy for probabilistic models with discrete variables. Our approach uses gradients of the likelihood function with respect to discrete assignments to propose Metropolis-Hastings updates. These updates can be incorporated into larger Markov chain Monte Carlo or learning schemes. We show theoretically and empirically that this simple approach outperforms generic samplers in a number of difficult settings including Ising Models, Potts Models, Restricted Boltzmann Machines, and Factorial Hidden Markov Models -- even outperforming some samplers which exploit known structure in these distributions. We also show that our improved sampler enables the training of deep energy-based models on high dimensional discrete data which outperforms variational auto-encoders and previous energy-based models.<br><br><b>Speaker Bio</b>: Will Grathwohl is a PhD student at the University of Toronto supervised by Richard Zemel and David Duvenaud. His work mainly focuses on generative models and their applications to downstream discriminative tasks. His work has covered variational inference, normalizing flows and now focuses mainly on energy-based models. Will is currently a student researcher on the Google Brain team in Toronto. Prior to graduate school, Will worked on machine learning applications in silicon valley and did his undergraduate degree in mathematics at the Massachusetts Institute of Technology.</font><div><br></div><div><b>Zoom Link</b>:<br><a href="https://cmu.zoom.us/j/91853143684?pwd=UDNLNWpRcEs2WUx4S21UZ3d2RHV2dz09" target="_blank">https://cmu.zoom.us/j/91853143684?pwd=UDNLNWpRcEs2WUx4S21UZ3d2RHV2dz09</a><br><br><br>Thanks,<br>Shaojie Bai (MLD)</div></div>
</div></div>