
<html><head><meta http-equiv="Content-Type" content="text/html charset=iso-8859-1"></head><body style="word-wrap: break-word; -webkit-nbsp-mode: space; -webkit-line-break: after-white-space;"><p class="MsoNormal"><b><span lang="EN-US" style="font-size: 14pt; font-family: 'Times New Roman';">Call for postdoc application</span></b></p><p class="MsoNormal"><b><span lang="EN-US" style="font-family: 'Times New Roman';">Topic</span></b><span lang="EN-US" style="font-family: 'Times New Roman';">: Intrinsically motivated multi-goal deep reinforcement learning in open virtual worlds<o:p></o:p></span></p><p class="MsoNormal"><span lang="EN-US"> </span><b><span lang="EN-US" style="font-family: 'Times New Roman';">Host and location</span></b><span lang="EN-US" style="font-family: 'Times New Roman';">: Inria Flowers Lab, Bordeaux, France</span></p><p class="MsoNormal"><b><span lang="EN-US" style="font-family: 'Times New Roman';">Collaboration</span></b><span lang="EN-US" style="font-family: 'Times New Roman';"> with Ubisoft (Bordeaux)<o:p></o:p></span></p><p class="MsoNormal"><b><span lang="EN-US" style="font-family: 'Times New Roman';">Supervision</span></b><span lang="EN-US" style="font-family: 'Times New Roman';">: Pierre-Yves Oudeyer (Flowers team, Inria and Ensta ParisTech)<o:p></o:p></span></p><p class="MsoNormal"><b><span lang="EN-US" style="font-family: 'Times New Roman';">Duration</span></b><span lang="EN-US" style="font-family: 'Times New Roman';">: between 18 months and 2 years<o:p></o:p></span></p><p class="MsoNormal"><b><span lang="EN-US" style="font-family: 'Times New Roman';">Deadline for application</span></b><span lang="EN-US" style="font-family: 'Times New Roman';">: the position will be assigned and start as soon as possible (from april or may 2019).  <o:p></o:p></span></p><p class="MsoNormal" style="margin-bottom: 12pt; text-align: justify;"><b><span lang="EN-US" style="font-family: 'Times New Roman';"><br></span></b><span lang="EN-GB" style="font-family: 'Times New Roman';">This postdoc project aims to develop autonomous lifelong machine learning techniques that enable virtual intelligent agents to make discoveries and acquire large repertoires of skills in open uncertain environments. This is key for developing agents that need to continuously explore and adapt interaction skills to new or changing tasks, environments, people to interact with, and preferences of others. The approach will leverage recent advances in curiosity-driven developmental learning (also called intrinsically motivated learning) to drive exploration in a multi-goal deep reinforcement learning framework. In particular, it will consist in studying several extensions of recent results of the Flowers lab in this area, including unsupervised learning of goal spaces using deep learning approaches (Laversanne-Finot et al., 2018) and the CURIOUS algorithm for intrinsically motivated multi-task multi-goal deep RL (Colas et al., 2019). These algorithms will be evaluated on benchmarks involving novel virtual environments dedicated to study exploration and curiosity (e.g. based on Unity3D MLagents), as well as modern open world video games in the context of a collaboration with Ubisoft (Bordeaux).  <o:p></o:p></span></p><p class="MsoNormal" style="margin-bottom: 12pt; text-align: justify;"><b><span lang="EN-GB" style="font-family: 'Times New Roman';">Keywords </span></b><span lang="EN-GB" style="font-family: 'Times New Roman';">: Deep RL, neural networks, multi-task learning, transfer learning, curiosity, intrinsic motivation, curriculum learning, Unity3D.<o:p></o:p></span></p><p class="MsoNormal" style="margin-bottom: 12pt; text-align: justify;"><b><span lang="EN-GB" style="font-family: 'Times New Roman';">Required knowledge and background:<o:p></o:p></span></b></p><p class="MsoNormal" style="margin-bottom: 12pt;"><span style="font-family: 'Times New Roman';">Candidates should already have shown very strong experience and achievements, shown by publications in top-tier AI/machine learning conferences and journals (e.g. NIPS, ICML, ICLR) in either:<br></span><span lang="EN-GB" style="font-family: 'Times New Roman';">- Deep Learning algorithms (theory and practical implementations)<br>- Reinforcement learning</span><span style="font-family: 'Times New Roman';"><o:p></o:p></span></p><p class="MsoNormal" style="margin-bottom: 12pt;"><span lang="EN-GB" style="font-family: 'Times New Roman';">Other requirements:<br>- strong skills in mathematics, statistical inference, machine learning<br>- Advanced programming skills <br>- Motivation to work in an interdisciplinary project<o:p></o:p></span></p><p class="MsoNormal" style="margin-bottom: 12pt; text-align: justify;"><b><span lang="EN-GB" style="font-family: 'Times New Roman';">Contact and application: </span></b><span lang="EN-GB" style="font-family: 'Times New Roman';">Send CV and letter of motivation to<b> <a href="mailto:pierre-yves.oudeyer@inria.fr">pierre-yves.oudeyer@inria.fr</a><o:p></o:p></b></span></p><p class="MsoNormal" style="margin-bottom: 12pt;"><b><span lang="EN-GB" style="font-family: 'Times New Roman';">Web: <br></span></b><span lang="EN-GB" style="font-family: 'Times New Roman';">Inria Flowers: <a href="http://flowers.inria.fr/">http://flowers.inria.fr</a> and <a href="http://www.pyoudeyer.com/">http://www.pyoudeyer.com</a></span></p><h4><strong><span style="color: rgb(51, 51, 51);">The Flowers Lab: developmental robotics and lifelong multitask machine learning</span></strong><span style="font-family: 'Times New Roman'; color: rgb(51, 51, 51);"><br>==================================================================<o:p></o:p></span></h4><p style="orphans: 2; widows: 2;"><span lang="EN-US" style="font-size: 12pt; font-family: 'Times New Roman'; color: rgb(51, 51, 51);">The Flowers Lab, headed by Pierre-Yves Oudeyer, gathers a team of ~20 members and has been one of the pioneers of developmental robotics and lifelong machine learning and artificial intelligence in the last decade, in particular through developping models of intrinsically motivated learning of repertoires of skills that have both contributed to advance understanding of human curiosity and development, and to advance incremental online multitask machine learning techniques in difficult high-dimensional robotic spaces.</span><span lang="EN-US" style="font-size: 12pt; font-family: 'Times New Roman'; color: rgb(51, 51, 51);"><o:p></o:p></span></p><p style="orphans: 2; widows: 2;"><span lang="EN-US" style="font-size: 12pt; font-family: 'Times New Roman'; color: rgb(51, 51, 51);">This work in the Flowers lab is conducted in the context of large international projects (e.g. ERC grant, European projects 3rdHand and DREAM, HFSP project Neurocuriosity), with interdisicplinary collaborations with other labs in neuroscience, psychology, machine learning and robotics. The successful candidates would be directly involved in these international collaborations.<o:p></o:p></span></p><p style="orphans: 2; widows: 2;"><span lang="EN-US" style="font-size: 12pt; font-family: 'Times New Roman'; color: rgb(51, 51, 51);">The Flowers lab has recently spin-off the Pollen Robotics startup company, and is involved in multiple collaborations with industrials through Inria's strong support towards impacting both science and industry.<o:p></o:p></span></p><h4 style="orphans: 2; widows: 2;"><strong><span style="color: rgb(51, 51, 51);">Inria and EnstaParistech</span></strong><span style="font-family: 'Times New Roman'; color: rgb(51, 51, 51);"><br>===================<o:p></o:p></span></h4><p style="orphans: 2; widows: 2;"><span lang="EN-US" style="font-size: 12pt; font-family: 'Times New Roman'; color: rgb(51, 51, 51);">The lab is within Inria Bordeaux, which is a prestigious, and also the largest, public European research insitution focused on computer science, mathematics and their applications. Inria's teams and researchers (> 2800 employees) have received prestigious awards, coordinate many international projects, and have created strong innovations now used in many parts of industry. Inria research center in Bordeaux gathers around 300 researchers. The Flowers Lab is also associated to EnstaParisTech, which is a prestigious French engineering school (university).</span><span lang="EN-US" style="font-size: 12pt; font-family: 'Times New Roman'; color: rgb(51, 51, 51);"><o:p></o:p></span></p><h4 style="orphans: 2; widows: 2;"><strong><span style="color: rgb(51, 51, 51);">Bordeaux</span></strong><span style="font-family: 'Times New Roman'; color: rgb(51, 51, 51);"><br>========<o:p></o:p></span></h4><p style="orphans: 2; widows: 2;"><span lang="EN-US" style="font-size: 12pt; font-family: 'Times New Roman'; color: rgb(51, 51, 51);">The Flowers lab in Bordeaux is located in a great building on the border of one of the world most famous vineyard, and 10mn by tram from Bordeaux town center (and 2 hours from Paris through high-speed trains): <a href="https://www.inria.fr/en/centre/bordeaux" data-mce-href="https://www.inria.fr/en/centre/bordeaux">https://www.inria.fr/en/centre/bordeaux</a> Bordeaux has been recently rated by Lonely Planet as the world's best city to visit: <a href="http://www.independent.co.uk/travel/news-and-advice/best-cities-in-the-world-top-10-lonely-planet-bordeaux-cape-town-la-a7379066.html" data-mce-href="http://www.independent.co.uk/travel/news-and-advice/best-cities-in-the-world-top-10-lonely-planet-bordeaux-cape-town-la-a7379066.html">http://www.independent.co.uk/travel/news-and-advice/best-cities-in-the-world-top-10-lonely-planet-bordeaux-cape-town-la-a7379066.html</a></span><span lang="EN-US" style="font-size: 12pt; font-family: 'Times New Roman'; color: rgb(51, 51, 51);"><o:p></o:p></span></p><p class="MsoNormal"><b><span lang="EN-GB" style="font-family: 'Times New Roman';">References:<o:p></o:p></span></b></p><p><span lang="EN-GB" style="font-size: 12pt; font-family: 'Times New Roman';">Baranes, A., & Oudeyer, P. Y. (2013) Active learning of inverse models with intrinsically motivated goal exploration in robots. <i>Robotics and Autonomous Systems</i>, 61(1), 49-73.<br><a href="https://hal.inria.fr/hal-00788440/document">https://hal.inria.fr/hal-00788440/document</a><o:p></o:p></span></p><p class="MsoNormal"><span lang="EN-GB" style="font-family: 'Times New Roman';">COLAS, C�dric, SIGAUD, Olivier, et OUDEYER, Pierre-Yves (2019) CURIOUS: Intrinsically Motivated Multi-Task, Multi-Goal Reinforcement Learning. <a href="https://arxiv.org/pdf/1802.05054.pdf">https://arxiv.org/pdf/1802.05054.pdf</a></span><span style="font-family: 'Times New Roman';"><o:p></o:p></span></p><p><span style="font-size: 12pt; font-family: 'Times New Roman';">Colas, C., Sigaud, O., and P-Y. Oudeyer (2018) Gep-pg: Decoupling exploration and exploitation in deep reinforcement learning algorithms. <i>arXiv preprint arXiv:1802.05054</i>, 2018. <br><a href="https://arxiv.org/abs/1802.05054">https://arxiv.org/abs/1802.05054</a><o:p></o:p></span></p><p><span style="font-size: 12pt; font-family: 'Times New Roman';">Laversanne-Finot, A., P�r�, A., Oudeyer, P-Y. (2018) <a href="https://arxiv.org/abs/1807.01521">Curiosity Driven Exploration of Learned Disentangled Goal Spaces</a>, In Proceedings of Conference on Robot Learning (<b><i>CoRL 2018</i></b>).<br>Blog post : <a href="https://openlab-flowers.inria.fr/t/discovery-of-independently-controllable-features-through-autonomous-goal-setting/494">https://openlab-flowers.inria.fr/t/discovery-of-independently-controllable-features-through-autonomous-goal-setting/494</a><o:p></o:p></span></p><p><span style="font-size: 12pt; font-family: 'Times New Roman';">P�r�, A., Forestier, S., Sigaud, O, and P.-Y. Oudeyer (2018) Unsupervised learning of goal spaces for intrinsically motivated goal exploration. In <i>International Conference on Learning Representations (ICLR)</i>, 2018. <br><a href="https://arxiv.org/abs/1803.00781">https://arxiv.org/abs/1803.00781</a><o:p></o:p></span></p><div><span style="font-size: 12pt; font-family: 'Times New Roman';"> </span><br class="webkit-block-placeholder"></div><div><span style="font-size: 12pt; font-family: 'Times New Roman';"> </span><br class="webkit-block-placeholder"></div><div><span lang="EN-US" style="font-size: 14pt;"> </span><br class="webkit-block-placeholder"></div></body></html>