<div dir="ltr">Dear all,<div><br></div><div><div>We look forward to seeing you <b>next Tuesday (3/22)</b> from <b><font color="#ff0000">1</font></b><font color="#ff0000"><b>2:00-1:00 PM (U.S. Eastern time)</b></font> for the next talk of our <b>CMU AI seminar</b>, sponsored by <a href="https://www.morganstanley.com/about-us/technology/" target="_blank">Morgan Stanley</a>.</div><div><br></div><div>To learn more about the seminar series or see the future schedule, please visit the <a href="http://www.cs.cmu.edu/~aiseminar/" target="_blank">seminar website</a>.</div><div><br></div><font color="#0b5394"><span style="background-color:rgb(255,255,0)">On 3/22,<span class="gmail-Apple-converted-space"> </span></span><b style="background-color:rgb(255,255,0)"><u>Chirag Gupta</u> </b><span style="background-color:rgb(255,255,0)">(CMU) will be giving a talk titled<span class="gmail-Apple-converted-space"> </span></span><b style="background-color:rgb(255,255,0)">"</b></font><span style="background-color:rgb(255,255,0)"><font color="#0b5394"><b>Provably calibrating ML classifiers without distributional assumptions</b></font></span><font color="#0b5394"><b style="background-color:rgb(255,255,0)">"</b><span style="background-color:rgb(255,255,0)"><span class="gmail-Apple-converted-space"> </span>to</span></font><span style="color:rgb(11,83,148);background-color:rgb(255,255,0)"> share his work on new notions of calibration in the multiclass setting.</span></div><div><br><font color="#0b5394"><b>Title</b>: Provably calibrating ML classifiers without distributional assumptions</font><div><font color="#0b5394"><br></font><div><font color="#0b5394"><b>Talk Abstract</b>: Most ML classifiers provide probability scores for the different classes. What do these scores mean? Probabilistic classifiers are said to be calibrated if the observed frequencies of labels match the claimed/reported probabilities. While calibration in the binary classification setting has been studied since the mid-1900s, there is less clarity on the right notion of calibration for multiclass classification. In this talk, I will present recent work where we investigate the relationship between commonly considered notions of multiclass calibration and the calibration algorithms used to achieve these notions. We will discuss our proposed notion of top-label calibration, and the general framework of multiclass-to-binary (M2B) calibration. We show that any M2B notion of calibration can be provably achieved, no matter how the data is distributed. I will present these calibration guarantees as well as experimental results on calibrating deep learning models. Our proposed algorithms beat existing algorithms in most situations. Code for this work is available at <a href="https://github.com/aigen/df-posthoc-calibration">https://github.com/aigen/df-posthoc-calibration</a>. </font><div><font color="#0b5394"><br><b>Speaker Bio</b>: Chirag Gupta is a fourth-year PhD student in the Machine Learning Department at CMU, advised by Aaditya Ramdas. He works on principled methods for uncertainty quantification in classification and regression problems.</font><div><br></div><div><b>Zoom Link</b>:  <a href="https://cmu.zoom.us/j/99510233317?pwd=ZGx4aExNZ1FNaGY4SHI3Qlh0YjNWUT09" target="_blank">https://cmu.zoom.us/j/99510233317?pwd=ZGx4aExNZ1FNaGY4SHI3Qlh0YjNWUT09</a></div></div></div></div></div><div><br></div><div>Thanks,</div><div>Asher Trockman</div></div>