<div dir="ltr">Dear all,<div><br></div><div><div>We look forward to seeing you <b>next Tuesday (3/1)</b> from <b><font color="#ff0000">1</font></b><font color="#ff0000"><b>2:00-1:00 PM (U.S. Eastern time)</b></font> for the next talk of our <b>CMU AI seminar</b>, sponsored by <a href="https://www.morganstanley.com/about-us/technology/" target="_blank">Morgan Stanley</a>.</div><div><br></div><div>To learn more about the seminar series or see the future schedule, please visit the <a href="http://www.cs.cmu.edu/~aiseminar/" target="_blank">seminar website</a>.</div><div><br></div><font color="#0b5394"><span style="background-color:rgb(255,255,0)">On 3/1, </span><b style="background-color:rgb(255,255,0)"><u>Douwe Kiela</u> </b><span style="background-color:rgb(255,255,0)">(Hugging Face) will be giving a talk titled </span><b style="background-color:rgb(255,255,0)">"</b></font><b><font color="#0b5394" style="background-color:rgb(255,255,0)">Dynabench: Rethinking Benchmarking in AI</font></b><font color="#0b5394"><b style="background-color:rgb(255,255,0)">"</b><span style="background-color:rgb(255,255,0)"> to</span></font><span style="color:rgb(11,83,148);background-color:rgb(255,255,0)"> share his work on addressing problems with the current benchmarking paradigm in AI.</span><br><br><font color="#0b5394"><b>Title</b>: Dynabench: Rethinking Benchmarking in AI</font><div><font color="#0b5394"><br></font><div><font color="#0b5394"><b>Talk Abstract</b>: The current benchmarking paradigm in AI has many issues: benchmarks saturate quickly, are susceptible to overfitting, contain exploitable annotator artifacts, have unclear or imperfect evaluation metrics, and do not necessarily measure what we really care about. I will talk about our work in trying to rethink the way we do benchmarking in AI, specifically in natural language processing, focusing mostly on the Dynabench platform (<a href="http://dynabench.org/" target="_blank">dynabench.org</a>).</font><div><font color="#0b5394"><br><b>Speaker Bio</b>: <span class="gmail-il">Douwe</span><span class="gmail-Apple-converted-space"> </span>Kiela (@douwekiela, <a href="https://douwekiela.github.io/" target="_blank">https://douwekiela.github.io/</a>) is the Head of Research at Hugging Face. Before, he was a Research Scientist at Facebook AI Research. His current research interests lie in developing better models for (grounded, multi-agent) language understanding and better tools for evaluation and benchmarking.</font><div><br></div><div><b>Zoom Link</b>:  <a href="https://cmu.zoom.us/j/99510233317?pwd=ZGx4aExNZ1FNaGY4SHI3Qlh0YjNWUT09" target="_blank">https://cmu.zoom.us/j/99510233317?pwd=ZGx4aExNZ1FNaGY4SHI3Qlh0YjNWUT09</a></div></div></div></div></div><div><br></div><div>Thanks,</div><div>Asher Trockman</div></div>