<div dir="ltr"><font face="arial, sans-serif">Thodoris Lykouris<font color="#000000"> (</font><span style="color:rgb(0,0,0)">Microsoft Research, NYC</span><font color="#000000">) will be giving an online seminar on "</font>Corruption robust exploration in episodic reinforcement learning<font color="#000000">" from <u>12:00 - 01:00 PM</u> on May 26.</font></font><div><font color="#000000" face="arial, sans-serif"><br></font></div><div><font face="arial, sans-serif" color="#000000">Zoom Link: <u><a href="https://cmu.zoom.us/j/262225154" target="_blank">https://cmu.zoom.us/j/262225154</a></u></font></div><div><div><font face="arial, sans-serif" color="#000000"><br></font></div><div><div class="gmail_default"><font face="arial, sans-serif" color="#000000">CMU AI Seminar is sponsored by Fortive. <br></font></div><div class="gmail_default"><font face="arial, sans-serif" color="#000000"><br></font></div><div class="gmail_default"><font face="arial, sans-serif" color="#000000">Following are the details of the talk:</font></div></div><div class="gmail_default"><font face="arial, sans-serif" color="#000000"><br></font></div><div class="gmail_default"><div class="gmail_default"><font face="arial, sans-serif"><font color="#000000"><b>Title: </b></font>Corruption robust exploration in episodic reinforcement learning</font></div><div class="gmail_default"><font face="arial, sans-serif"><br></font></div><div class="gmail_default"><font face="arial, sans-serif"><font color="#000000"><b>Abstract: </b></font><span style="color:rgb(0,0,0)">We initiate the study of multi-stage episodic reinforcement learning under adversarial corruptions in both the rewards and the transition probabilities of the underlying system extending recent results for the special case of stochastic bandits. We provide a framework which modifies the aggressive exploration enjoyed by existing reinforcement learning approaches based on "optimism in the face of uncertainty", by complementing them with principles from "action elimination". Importantly, our framework circumvents the major challenges posed by naively applying action elimination in the RL setting, as formalized by a lower bound we demonstrate. Our framework yields efficient algorithms which (a) attain near-optimal regret in the absence of corruptions and (b) adapt to unknown levels corruption, enjoying regret guarantees which degrade gracefully in the total corruption encountered. To showcase the generality of our approach, we derive results for both tabular settings (where states and actions are finite) as well as linear-function-approximation settings (where the dynamics and rewards admit a linear underlying representation). Notably, our work provides the first sublinear regret guarantee which accommodates any deviation from purely i.i.d. transitions in the bandit-feedback model for episodic reinforcement learning.</span></font></div><div class="gmail_default"><span style="color:rgb(0,0,0)"><font face="arial, sans-serif"><br></font></span></div><div class="gmail_default"><font face="arial, sans-serif"><font color="#000000"><b>Bio</b>: </font><span style="color:rgb(0,0,0)">Thodoris Lykouris is a postdoctoral researcher in the machine learning group of Microsoft Research NYC. His research focus is on online decision-making spanning across the disciplines of machine learning, theoretical computer science, operations research, and economics. He completed his Ph.D. in 2019 from Cornell University where he was advised by Eva Tardos. During his Ph.D. years, his research has been generously supported by a Google Ph.D. Fellowship and a Cornell University Fellowship. He was also a finalist in the INFORMS Nicholson and Applied Probability Society best student paper competitions.</span></font></div><div class="gmail_default"><font face="arial, sans-serif"><br></font></div><div class="gmail_default"><font face="arial, sans-serif"><br></font></div><div class="gmail_default"><font face="arial, sans-serif"><font color="#000000">To learn more about the seminar series, please visit the website: </font><a href="http://www.cs.cmu.edu/~aiseminar/" target="_blank">http://www.cs.cmu.edu/~aiseminar/</a></font></div></div></div><font color="#888888"><font color="#888888" face="arial, sans-serif"><div><br></div></font></font><div><font face="arial, sans-serif"><br></font></div><font face="arial, sans-serif">-- <br></font><div dir="ltr" class="gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div style="margin:0px;padding:0px 0px 20px;width:864px"><div style=""><div style="margin:8px 0px 0px;padding:0px"><div style=""><div dir="ltr" style=""><div style=""><font face="arial, sans-serif"><font color="#444444">Aayush Bansal</font><br></font></div><div style=""><a href="http://www.cs.cmu.edu/~aayushb/" target="_blank"><font face="arial, sans-serif">http://www.cs.cmu.edu/~aayushb/</font></a></div><div style="font-size:medium"><br></div></div><div style="font-family:Roboto,RobotoDraft,Helvetica,Arial,sans-serif;font-size:medium"></div><div style="font-family:Roboto,RobotoDraft,Helvetica,Arial,sans-serif;font-size:medium"></div></div></div><div style="font-family:Roboto,RobotoDraft,Helvetica,Arial,sans-serif;font-size:medium"></div></div></div></div></div></div></div></div></div></div>