<div dir="ltr">Dear all,<div><br></div><div><div>We look forward to seeing you<b> </b><b>this Tuesday (2/28)</b> from <b><font color="#ff0000">1</font></b><font color="#ff0000"><b>2:00-1:00 PM (U.S. Eastern time)</b></font> for the next talk of this semester's <b>CMU AI Seminar</b>, sponsored by <a href="https://sambanova.ai/" target="_blank">SambaNova Systems</a>. The seminar will be held in GHC 6115 <b>with pizza provided </b>and will<b> </b>be streamed on Zoom.</div><div><br></div><div>To learn more about the seminar series or to see the future schedule, please visit the <a href="http://www.cs.cmu.edu/~aiseminar/" target="_blank">seminar website</a>.</div><div><br></div><font color="#0b5394"><span style="background-color:rgb(255,255,0)">This Tuesday (2/28), <u>Steven Jecmen</u></span><b style="background-color:rgb(255,255,0)"> </b><span style="background-color:rgb(255,255,0)">(CMU) will be giving a talk titled </span><b style="background-color:rgb(255,255,0)">"</b><span style="background-color:rgb(255,255,0)"><b>Off-Policy Evaluation of Peer-Review Assignment Strategies</b></span><b style="background-color:rgb(255,255,0)">".</b></font></div><div><font color="#0b5394"><span style="background-color:rgb(255,255,0)"><br></span><b>Title</b>: Off-Policy Evaluation of Peer-Review Assignment Strategies<br><br></font><div><div><font color="#0b5394"><b>Talk Abstract</b>: Peer review assignment algorithms aim to match research papers to suitable expert reviewers, working to maximize the quality of the resulting reviews. A key challenge in designing effective assignment strategies is evaluating how changes to the assignment algorithm map to changes in quality. In this talk, I will show how we leverage recently-proposed strategies that introduce randomness in peer-review assignment (aiming to mitigate fraud) as a valuable opportunity to evaluate counterfactual assignment strategies. To address challenges in applying standard off-policy evaluation techniques, we introduce novel methods for partial identification based on mild assumptions about the review quality outcomes. We apply our methods to peer-review data from two computer science venues and examine the effect on review quality of various changes to the paper assignment algorithms.<span class="gmail-Apple-converted-space"> </span></font><div><div><font color="#0b5394"><br></font></div><div><font color="#0b5394"><b>Speaker Bio:</b> <span class="gmail-il">Steven</span><span class="gmail-Apple-converted-space"> </span><span class="gmail-il">Jecmen</span><span class="gmail-Apple-converted-space"> </span>is a fourth-year Ph.D. student in the Computer Science Department at Carnegie Mellon University, advised by Fei Fang and Nihar Shah.<span class="gmail-Apple-converted-space"> </span><span class="gmail-il">Steven</span>'s recent research focuses primarily on preventing undesirable behavior in settings with human evaluators, particularly in academic peer review. His personal website is at<span class="gmail-Apple-converted-space"> </span><a href="https://sjecmen.github.io/" target="_blank">https://sjecmen.github.io/</a>.</font><br></div><div><br></div><div><font color="#0b5394"><b>In person: </b>GHC 6115</font></div><div><font color="#0b5394"><b>Zoom Link</b>:  <a href="https://cmu.zoom.us/j/99510233317?pwd=ZGx4aExNZ1FNaGY4SHI3Qlh0YjNWUT09" target="_blank">https://cmu.zoom.us/j/99510233317?pwd=ZGx4aExNZ1FNaGY4SHI3Qlh0YjNWUT09</a></font></div></div></div></div></div><div><br></div><div>Thanks,</div><div>Asher Trockman</div></div>