<div dir="ltr"><div style="font-size:12.8px"><span style="font-size:12.8px">Dear faculty and students,</span><br></div><div style="font-size:12.8px"><br></div><div style="font-size:12.8px">We look forward to seeing you Next Tuesday, March 28, at noon in NSH 3305 for <span class="gmail-m_-3845786611512726372gmail-m_-6999767458661046436gmail-m_-6479828366463820995gmail-m_1701734696480192352gmail-m_2647091708305858519gmail-m_-7609873634547071637gmail-m_2670556149876493410gmail-il">AI</span> <span class="gmail-m_-3845786611512726372gmail-m_-6999767458661046436gmail-m_-6479828366463820995gmail-m_1701734696480192352gmail-m_2647091708305858519gmail-m_-7609873634547071637gmail-m_2670556149876493410gmail-il">lunch</span>. To learn more about the seminar and <span class="gmail-m_-3845786611512726372gmail-m_-6999767458661046436gmail-m_-6479828366463820995gmail-m_1701734696480192352gmail-m_2647091708305858519gmail-m_-7609873634547071637gmail-m_2670556149876493410gmail-il">lunch</span>, please visit <span style="font-size:12.8px">the </span><a href="http://www.cs.cmu.edu/~aiseminar/" target="_blank" style="font-size:12.8px"><span class="gmail-m_-3845786611512726372gmail-m_-6999767458661046436gmail-m_-6479828366463820995gmail-m_1701734696480192352gmail-m_2647091708305858519gmail-m_-7609873634547071637gmail-m_2670556149876493410gmail-il"><span class="gmail-m_-3845786611512726372gmail-m_-6999767458661046436gmail-m_-6479828366463820995gmail-m_1701734696480192352gmail-m_2647091708305858519gmail-m_-7609873634547071637gmail-il">AI</span></span> <span class="gmail-m_-3845786611512726372gmail-m_-6999767458661046436gmail-m_-6479828366463820995gmail-m_1701734696480192352gmail-m_2647091708305858519gmail-m_-7609873634547071637gmail-m_2670556149876493410gmail-il"><span class="gmail-m_-3845786611512726372gmail-m_-6999767458661046436gmail-m_-6479828366463820995gmail-m_1701734696480192352gmail-m_2647091708305858519gmail-m_-7609873634547071637gmail-il">Lunch</span></span> webpage</a><span style="font-size:12.8px">.</span></div><div style="font-size:12.8px"><br></div><div style="font-size:12.8px">On Tuesday, <a href="http://manzil.ml/">Manzil Zaheer</a> will give a talk titled *Exponential Stochastic Cellular Automata For Massively Parallel Inference*.</div><div style="font-size:12.8px"><br></div><div style="font-size:12.8px">*Abstract*<span style="font-size:12.8px">: </span></div><div style="font-size:12.8px"><span style="font-size:12.8px"><br></span></div><div style="font-size:12.8px"><span style="font-size:12.8px">Often statistical models and inference procedures thereof are directly not good fit for the modern computational resources. To elaborate, current computational resources are racks of fast, cheap, and heavily multicored machines yet with a limited memory bandwidth whereas inference strategies can be inherently sequentially like Gibbs sampling or memory access intensive like expectation-maximization or other variational inference.</span></div><div style="font-size:12.8px"><span style="font-size:12.8px"><br></span></div><div style="font-size:12.8px">In this talk, we discuss an embarrassingly parallel, memory efficient inference algorithm for latent variable models in which the complete data likelihood is in the exponential family. The algorithm is a stochastic cellular automaton and converges to a valid maximum a posteriori fixed point. We explore further tricks to improve performance by reducing pressure on memory bandwidth by use of better data structures.</div><div style="font-size:12.8px">We apply the algorithm to Gaussian mixture model (GMM) and latent Dirichlet allocation (LDA) and empirically find that our algorithm is order of magnitudes faster than state-of-the-art approaches. A simple C++/MPI implementation on a 16-node cluster can sample more than a billion tokens per second in case of LDA and a million images in case of GMM.</div><div style="font-size:12.8px"><br></div><div style="font-size:12.8px">This is a joint work with Alex Smola, Jean-Baptiste Tristan, Michael Wick, and Satwik Kottur.</div></div>