<div dir="ltr"><div class="gmail_default" style="color:#0b5394"><div class="gmail_default" style="color:rgb(34,34,34)">Dear faculty and students:<br><br>We look forward to seeing you next Tuesday, Nov. 6th, at noon in GHC 6115 for <span class="gmail-m_-3184835377203912231gmail-m_-7381204479734663679gmail-il"><span class="gmail-m_-3184835377203912231gmail-il"><span class="gmail-il">AI</span></span></span> <span class="gmail-m_-3184835377203912231gmail-m_-7381204479734663679gmail-il"><span class="gmail-m_-3184835377203912231gmail-il"><span class="gmail-il">Seminar</span></span></span> sponsored by Apple. To learn more about the <span class="gmail-m_-3184835377203912231gmail-m_-7381204479734663679gmail-il"><span class="gmail-m_-3184835377203912231gmail-il"><span class="gmail-il">seminar</span></span></span> series, please visit the website. <br>On Tuesday, Yifan Wu will give the following talk:</div><div class="gmail_default" style="color:rgb(34,34,34)"><br></div><div class="gmail_default" style="color:rgb(34,34,34)"><div><b>Title: </b>The Laplacian in Reinforcement Learning: Learning Representations without Rewards and Decoders</div><br class="gmail-Apple-interchange-newline"><div><b>Abstract: </b>The smallest eigenvectors of the graph Laplacian are well-known to provide a succinct representation of the geometry of a weighted graph. In reinforcement learning (RL), where the weighted graph may be interpreted as the state transition process induced by a behavior policy acting on the environment, approximating the eigenvectors of the Laplacian provides a promising approach to state representation learning. However, existing methods for performing this approximation are ill-suited in general RL settings for two main reasons:  First, they are computationally expensive, often requiring operations on large matrices. Second, these methods lack adequate justification beyond simple, tabular, finite-state settings. In this paper, we present a fully general and scalable method for approximating the eigenvectors of the Laplacian in a model-free RL context. We systematically evaluate our approach and empirically show that it generalizes beyond the tabular, finite-state setting. Even in tabular, finite-state settings, its ability to approximate the eigenvectors outperforms previous proposals. Finally, we show the potential benefits of using a Laplacian representation learned using our method in goal-achieving RL tasks, providing evidence that our technique can be used to significantly improve the performance of an RL agent.</div></div></div>-- <br><div dir="ltr" class="gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><div><div dir="ltr"><div><span style="font-size:13px;border-collapse:collapse;color:rgb(136,136,136)"><b>Han Zhao<br>Machine Learning Department</b></span></div><div><span style="font-size:13px;border-collapse:collapse;color:rgb(136,136,136)"><b>School of Computer Science<br>Carnegie Mellon University<br>Mobile: +1-</b></span><b style="color:rgb(136,136,136);font-size:13px">412-652-4404</b></div></div></div></div></div></div>