<div dir="ltr"><div dir="ltr">Reminder...this is tomorrow at noon.</div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Wed, Oct 28, 2020 at 8:05 AM Aayush Bansal <<a href="mailto:aayushb@cs.cmu.edu">aayushb@cs.cmu.edu</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><font face="arial, sans-serif"><font color="#000000">Aaron Courville (University of Montreal) will be giving an online seminar on "</font>Emerging and preserving compositional structure through iterated learning<font color="#000000">" from 12:00 noon - 01:00 PM ET on Nov 03.</font></font><div><font face="arial, sans-serif" color="#000000"><br></font></div><div><div><font face="arial, sans-serif"><font color="#000000"><u>Zoom Link</u>: </font></font><a href="https://cmu.zoom.us/j/99054050077?pwd=bjQ5OXN1Z09sQ3pVcTJDMVJBbjJkQT09" target="_blank">https://cmu.zoom.us/j/99054050077?pwd=bjQ5OXN1Z09sQ3pVcTJDMVJBbjJkQT09</a></div><div><br></div><div><span style="color:rgb(0,0,0);font-family:arial,sans-serif">CMU AI Seminar is sponsored by Fortive. </span><br></div><div><div><div><font face="arial, sans-serif" color="#000000"><br></font></div><div><font face="arial, sans-serif" color="#000000">Following are the details of the talk:</font></div></div></div></div><div><font face="arial, sans-serif"><br></font></div><div><font face="arial, sans-serif"><font color="#000000"><b>Title: </b></font>Emerging and preserving compositional structure through iterated learning<br></font></div><div><font face="arial, sans-serif"><br></font></div><div><font face="arial, sans-serif"><b style="color:rgb(0,0,0)">Abstract: </b><span style="color:rgb(0,0,0)">Iterated learning is a theory of how the compositional structure of human language emerged. The theory holds that intergenerational language transfer creates learning bottlenecks that privilege compositional structure. Recent work in the machine learning community has shown that the iterated learning mechanism can also promote compositional structure in language emergence in communication between neural-network-base AI-agents. In this talk, I will describe our recent efforts at putting iterated learning to work in applications of Neural Module Network to simple Visual Question Answering and in self-play training scenarios with dialogue models. We find that applying iterated learning to the generation of the program that specifies the assembly of distinct neural network modules leads to higher accuracy in program prediction and supports systematic generalization to testing question templates that are not in the training set. In the context of self-play training of dialogue agents, we find the surprising result that iterated learning can mitigate language drift.</span><br></font></div><div><span style="color:rgb(0,0,0)"><font face="arial, sans-serif"><br></font></span></div><div><span style="color:rgb(0,0,0)"><font face="arial, sans-serif"><br></font></span></div><div><font face="arial, sans-serif"><b>Bio:</b> <span style="border:1px;margin:1px;padding:0px;color:rgb(0,0,0)">Aaron Courville</span><span style="color:rgb(0,0,0)"> is an Associate Professor in the Department of Computer Science and Operations Research at the Universite de Montreal. He received his PhD from the Robotics Institute, Carnegie Mellon University. He is one of the early contributors to Deep Learning, and is a founding member of Mila and a fellow of the CIFAR program on Learning in Machines and Brains. Together with Ian Goodfellow and Yoshua Bengio, he co-wrote the seminal textbook on Deep Learning. His current research interests focus on the development of DL models and methods. He is particularly interested in deep generative model and multimodal ML with applications such as computer vision and natural language processing. Aaron holds a CIFAR Canadian AI chair and his research is supported in part by Microsoft Research, Samsung, Hitachi, and a Google Focussed Research Award.</span><span style="color:rgb(0,0,0)"><br></span></font></div><div><font face="arial, sans-serif"><br></font></div><font face="arial, sans-serif"><div><div style="font-family:Arial,Helvetica,sans-serif"><div><div><div><font face="arial, sans-serif" color="#000000">To learn more about the seminar series, please visit the website: <a href="http://www.cs.cmu.edu/~aiseminar/" target="_blank">http://www.cs.cmu.edu/~aiseminar/</a></font></div></div></div></div><font color="#888888" style="font-family:Arial,Helvetica,sans-serif"><br></font></div><div><font face="arial, sans-serif"><br></font></div>-- <br></font><div dir="ltr"><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div style="margin:0px;padding:0px 0px 20px;width:864px"><div><div style="margin:8px 0px 0px;padding:0px"><div><div dir="ltr"><div><font face="arial, sans-serif"><font color="#444444">Aayush Bansal</font><br></font></div><div><a href="http://www.cs.cmu.edu/~aayushb/" target="_blank"><font face="arial, sans-serif">http://www.cs.cmu.edu/~aayushb/</font></a></div><div style="font-size:medium"><br></div></div><div style="font-family:Roboto,RobotoDraft,Helvetica,Arial,sans-serif;font-size:medium"></div><div style="font-family:Roboto,RobotoDraft,Helvetica,Arial,sans-serif;font-size:medium"></div></div></div><div style="font-family:Roboto,RobotoDraft,Helvetica,Arial,sans-serif;font-size:medium"></div></div></div></div></div></div></div></div></div></div>
</blockquote></div><br clear="all"><div><br></div><div dir="ltr" class="gmail_signature"><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div style="margin:0px;padding:0px 0px 20px;width:864px;font-family:Roboto,RobotoDraft,Helvetica,Arial,sans-serif"><div><div style="margin:8px 0px 0px;padding:0px"><div><div style="font-size:medium"></div><div style="font-size:medium"></div></div></div><div style="font-size:medium"></div></div></div></div></div></div></div></div></div></div>