<div dir="ltr"><div dir="ltr"><div>Dear all,</div><div><br></div><div><div><span style="white-space:pre-wrap">We are pleased to announce that the next speaker of the </span><b style="white-space:pre-wrap">“I Can’t Believe It’s Not Better!” (</b><span style="white-space:pre-wrap"><b><span class="gmail-il">ICBINB</span>)</b> virtual seminar series will be </span><b>Matt Hoffman</b><span style="white-space:pre-wrap"><b> (</b></span><b>Google</b><b style="white-space:pre-wrap">)</b><span style="white-space:pre-wrap">.</span><b style="white-space:pre-wrap"> </b><span style="white-space:pre-wrap">More details about this series and the talk are below.</span><br></div><div><span style="white-space:pre-wrap"><br></span></div><div><span style="white-space:pre-wrap">The <b>"I Can't Believe It's Not Better!" (<span class="gmail-il">ICBINB</span>) monthly online seminar series</b> seeks to shine a light on the "stuck" phase of research. Speakers will tell us about their most beautiful ideas that didn't "work", about when theory didn't match practice, or perhaps just when the going got tough. These talks will let us peek inside the file drawer of unexpected results and peer behind the curtain to see the real story of <i>how real researchers did real research</i>.</span></div><div><span style="white-space:pre-wrap"><b><br></b></span></div><div><span style="white-space:pre-wrap"><b>When: </b></span>June 1st, 2023 at 4pm CEST / 10am EDT</div><div><br></div><div><span style="white-space:pre-wrap"><b>Where: </b>RSVP for the Zoom link here: </span><a href="https://us02web.zoom.us/meeting/register/tZwtdOGprz0pGNJUCAKTX9xqrOCHlm5xZONJ" target="_blank">https://us02web.zoom.us/meeting/register/tZwtdOGprz0pGNJUCAKTX9xqrOCHlm5xZONJ</a><span style="white-space:pre-wrap"><br></span></div></div><div><br></div><div><b>Title:</b> <i>How (Not) to Be Bayesian in an Age of Giant Models</i><br><br><b>Abstract:</b><i> Giant neural networks have taken the world by storm. These neural networks are first pretrained using self-supervision strategies to soak up knowledge about common patterns in huge unlabeled datasets, and can then be fine-tuned to solve specific problems using small amounts of task-specific supervision. We might say that the pretrained model implicitly expresses a strong prior on what kinds of patterns are relevant, which implies that the ideal fine-tuning process must be some form of Bayesian inference! But it turns out that operationalizing this insight is harder than it sounds. I’ll discuss one of our explorations in this direction in which, with a fair amount of thought, work, specialized expertise, and extra computation, we were able to use Bayesian inference to get results that were...almost as good as just fine-tuning using gradient descent. Along the way, we (re)learned some lessons about prior specification, sparsity, random-matrix theory, and the naive genius of gradient descent.</i></div><br></div><div dir="ltr"><div><b>Bio: </b><i>Matt Hoffman is a Research Scientist at Google. His main research focus is in probabilistic modeling and approximate inference algorithms. He has worked on various applications including music information retrieval, speech enhancement, topic modeling, learning to rank, computer vision, user interfaces, user behavior modeling, social network analysis, digital imaging, and astronomy. He is a co-creator of the widely used statistical modeling package Stan, and a contributor to the TensorFlow Probability library.</i></div><br><div><div><span style="white-space:pre-wrap">For more information and for ways to get involved, please visit us at <a href="http://icbinb.cc/" target="_blank">http://<span class="gmail-il">icbinb</span>.cc/</a>, Tweet to us <a href="https://twitter.com/ICBINBWorkshop" target="_blank">@ICBINBWorkhop</a>, or email us at <a href="mailto:cant.believe.it.is.not.better@gmail.com" target="_blank">cant.believe.it.is.not.better@gmail.com</a>.</span></div></div><div><br>--<br><div dir="ltr"><div dir="ltr"><div>Best wishes,</div>The <span class="gmail-il">ICBINB</span> Organizers</div><div class="gmail-yj6qo"></div><div class="gmail-adL"></div><div class="gmail-adL"></div><div class="gmail-adL"></div><div class="gmail-adL"></div><div class="gmail-adL"></div><div class="gmail-adL"></div><div class="gmail-adL"></div><div dir="ltr" class="gmail-adL"><br></div></div></div></div></div>