<div dir="ltr">Dear all,<div><br></div><div><div>We look forward to seeing you tomorrow, <b>this Tuesday (4/2)</b> from <b><font color="#ff0000">1</font></b><font color="#ff0000"><b>2:00-1:00 PM (U.S. Eastern time)</b></font> for the next talk of this semester's <b><span class="gmail-il">CMU</span> <span class="gmail-il">AI</span> <span class="gmail-il">Seminar</span></b>, sponsored by <a href="https://sambanova.ai/" target="_blank">SambaNova Systems</a>. The<span class="gmail-Apple-converted-space"> </span><span class="gmail-il">seminar</span><span class="gmail-Apple-converted-space"> </span>will be held in GHC 6115 <b>with pizza provided </b>and will<b> </b>be streamed on Zoom.</div><div><br></div><div>To learn more about the <span class="gmail-il">seminar</span> series or to see the future schedule, please visit the <a href="http://www.cs.cmu.edu/~aiseminar/" target="_blank"><span class="gmail-il">seminar</span> website</a>.</div><div><br></div><font color="#0b5394"><span style="background-color:rgb(255,255,0)">Tomorrow, this Tuesday (4/2), <u>Rafael Frongillo</u> </span><span style="background-color:rgb(255,255,0)">(<span class="gmail-il">UC Boulder</span>) will be giving a talk titled </span><b style="background-color:rgb(255,255,0)">"Incentive problems in data science competitions, and how to fix them</b></font><b style="color:rgb(11,83,148);background-color:rgb(255,255,0)">"</b><font color="#0b5394" style="background-color:rgb(255,255,0)">.</font></div><div><font color="#0b5394"><span style="background-color:rgb(255,255,0)"><br></span><b>Title</b>: </font>Incentive problems in data science competitions, and how to fix them<font color="#0b5394"><br><br></font><div><font color="#0b5394"><b>Talk Abstract</b>: </font>Machine learning and data science competitions, wherein contestants submit predictions about held-out data points, are an increasingly common way to gather information and identify experts.  One of the most prominent platforms is Kaggle, which has run competitions with prizes up to 3 million USD.  The traditional mechanism for selecting the winner is simple: score each prediction on each held-out data point, and the contestant with the highest total score wins.  Perhaps surprisingly, this reasonable and popular mechanism can incentivize contestants to submit wildly inaccurate predictions.  The talk will begin with a series of experiments inspired by Aldous (2019) to build intuition for the incentive issues and what sort of strategic behavior one would expect---and when.  One takeaway is that, despite conventional wisdom, large held-out data sets do not always alleviate these incentive issues, and small ones do not necessarily suffer from them, as we confirm with formal results.  We will then discuss a new mechanism which is approximately truthful, in the sense that rational contestants will submit predictions which are close to their best guess.  If time we will see how the same mechanism solves an open question for online learning from strategic experts.</div></div><div><font color="#0b5394"> </font><div><div><div><font color="#0b5394"><b>Speaker Bio:</b> </font>Rafael (Raf) Frongillo is an Assistant Professor of Computer Science at the University of Colorado Boulder.  His research lies at the interface between theoretical machine learning and economics, primarily focusing on information elicitation mechanisms, which incentivize humans or algorithms to predict accurately.  Before Boulder, Raf was a postdoc at the Center for Research on Computation and Society at Harvard University and at Microsoft Research New York.  He received his PhD in Computer Science at UC Berkeley, advised by Christos Papadimitriou and supported by the NDSEG Fellowship.</div><div><font color="#0b5394"><br></font></div><div><font color="#0b5394"><b>In person: </b>GHC 6115</font></div><div><font color="#0b5394"><b>Zoom Link</b>:  <a href="https://cmu.zoom.us/j/99510233317?pwd=ZGx4aExNZ1FNaGY4SHI3Qlh0YjNWUT09" target="_blank">https://<span class="gmail-il">cmu</span>.zoom.us/j/99510233317?pwd=ZGx4aExNZ1FNaGY4SHI3Qlh0YjNWUT09</a></font></div></div></div></div><div><br></div><div>Thanks,</div><div>Asher Trockman</div></div>