<div dir="ltr"><div>Hi all,</div><div><br></div><div>Just a reminder that the <a href="http://www.cs.cmu.edu/~aiseminar/" target="_blank">CMU AI Seminar</a> is tomorrow <font color="#ff0000"><b>12pm-1pm</b></font>: <a href="https://cmu.zoom.us/j/99510233317?pwd=ZGx4aExNZ1FNaGY4SHI3Qlh0YjNWUT09" target="_blank">https://cmu.zoom.us/j/99510233317?pwd=ZGx4aExNZ1FNaGY4SHI3Qlh0YjNWUT09</a>.</div><div><br></div><div><b><u>Douwe Kiela</u> (Hugging Face)</b> will be <span style="background-color:rgb(255,255,255)"><font color="#000000">sharing his work on addressing problems with the current benchmarking paradigm in AI.</font></span><br></div><div><br></div><div>Thanks,</div><div>Asher</div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Fri, Feb 25, 2022 at 1:41 PM Asher Trockman <<a href="mailto:ashert@cs.cmu.edu">ashert@cs.cmu.edu</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-style:solid;border-left-color:rgb(204,204,204);padding-left:1ex"><div dir="ltr">Dear all,<div><br></div><div><div>We look forward to seeing you <b>next Tuesday (3/1)</b> from <b><font color="#ff0000">1</font></b><font color="#ff0000"><b>2:00-1:00 PM (U.S. Eastern time)</b></font> for the next talk of our <b>CMU AI seminar</b>, sponsored by <a href="https://www.morganstanley.com/about-us/technology/" target="_blank">Morgan Stanley</a>.</div><div><br></div><div>To learn more about the seminar series or see the future schedule, please visit the <a href="http://www.cs.cmu.edu/~aiseminar/" target="_blank">seminar website</a>.</div><div><br></div><font color="#0b5394"><span style="background-color:rgb(255,255,0)">On 3/1, </span><b style="background-color:rgb(255,255,0)"><u>Douwe Kiela</u> </b><span style="background-color:rgb(255,255,0)">(Hugging Face) will be giving a talk titled </span><b style="background-color:rgb(255,255,0)">"</b></font><b><font color="#0b5394" style="background-color:rgb(255,255,0)">Dynabench: Rethinking Benchmarking in AI</font></b><font color="#0b5394"><b style="background-color:rgb(255,255,0)">"</b><span style="background-color:rgb(255,255,0)"> to</span></font><span style="color:rgb(11,83,148);background-color:rgb(255,255,0)"> share his work on addressing problems with the current benchmarking paradigm in AI.</span><br><br><font color="#0b5394"><b>Title</b>: Dynabench: Rethinking Benchmarking in AI</font><div><font color="#0b5394"><br></font><div><font color="#0b5394"><b>Talk Abstract</b>: The current benchmarking paradigm in AI has many issues: benchmarks saturate quickly, are susceptible to overfitting, contain exploitable annotator artifacts, have unclear or imperfect evaluation metrics, and do not necessarily measure what we really care about. I will talk about our work in trying to rethink the way we do benchmarking in AI, specifically in natural language processing, focusing mostly on the Dynabench platform (<a href="http://dynabench.org/" target="_blank">dynabench.org</a>).</font><div><font color="#0b5394"><br><b>Speaker Bio</b>: <span>Douwe</span><span> </span>Kiela (@douwekiela, <a href="https://douwekiela.github.io/" target="_blank">https://douwekiela.github.io/</a>) is the Head of Research at Hugging Face. Before, he was a Research Scientist at Facebook AI Research. His current research interests lie in developing better models for (grounded, multi-agent) language understanding and better tools for evaluation and benchmarking.</font><div><br></div><div><b>Zoom Link</b>:  <a href="https://cmu.zoom.us/j/99510233317?pwd=ZGx4aExNZ1FNaGY4SHI3Qlh0YjNWUT09" target="_blank">https://cmu.zoom.us/j/99510233317?pwd=ZGx4aExNZ1FNaGY4SHI3Qlh0YjNWUT09</a></div></div></div></div></div><div><br></div><div>Thanks,</div><div>Asher Trockman</div></div>
</blockquote></div>