<div dir="ltr"><div style="font-size:12.8px">Dear faculty and students,</div><div style="font-size:12.8px"><br></div><div style="font-size:12.8px">We look forward to seeing you next Tuesday, October 31, at noon in NSH 3305 for AI Seminar sponsored by Apple. To learn more about the seminar series, please visit the AI Seminar <a href="http://www.cs.cmu.edu/~aiseminar/" target="_blank">webpage</a>.</div><div style="font-size:12.8px"><br></div><div style="font-size:12.8px">On Tuesday, <a href="https://cs.brown.edu/~dabel/">David Abel</a> from Brown University<span style="font-size:12.8px"> will give the following talk: </span></div><div style="font-size:12.8px"><br></div><div style="font-size:12.8px"><div><span style="font-size:12.8px">Title: </span><span style="font-size:12.8px">Abstraction and Lifelong Reinforcement Learning</span></div><div><span style="font-size:12.8px"><br></span></div><div style="font-size:12.8px"><span style="font-size:12.8px">Abstract:</span></div><div style="font-size:12.8px"><span style="font-size:12.8px"><br></span></div><div><div style="font-size:12.8px">Lifelong Reinforcement Learning (RL) presents a diversity of challenges. Agents must effectively transfer knowledge across tasks while simultaneously addressing exploration, credit assignment, and generalization. Abstraction can help overcome these hurdles by compressing the state space or empowering the action space of a learning agent, thereby reducing the computational and statistical burdens of learning. In this talk, I summarize our new results on the effect of abstractions on lifelong RL. First, we introduce a new class of value-preserving state abstractions whose optimal form can be computed efficiently, improving over existing NP-Hardness results. Second, we provide a generic sample bound for computing high confidence state abstractions in the lifelong setting. Third, we show experimentally that state abstractions only offer marginal improvements to lifelong learning on their own, but when paired with action abstraction, can enable efficient learning. Further, joint state-action abstractions induce a closed operator on representations, thereby yielding a simple recipe for constructing and analyzing hierarchies for RL.</div></div><div><br></div></div></div>