<div dir="auto">Of interest to everyone into DAI and coming from a former Autonian.<div dir="auto"><br></div><div dir="auto">Artur</div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">---------- Forwarded message ---------<br>From: <strong class="gmail_sendername" dir="auto">Suzanne Muth</strong> <span dir="auto"><<a href="mailto:lyonsmuth@cmu.edu">lyonsmuth@cmu.edu</a>></span><br>Date: Wed, Nov 13, 2024, 7:23 AM<br>Subject: RI Ph.D. Thesis Proposal: Shuli Jiang<br>To: RI People <<a href="mailto:ri-people@andrew.cmu.edu">ri-people@andrew.cmu.edu</a>><br></div><br><br><div dir="ltr"><div dir="ltr"><div><div><font face="verdana, sans-serif"><b>Date: </b>22 November 2024 </font></div><div><font face="verdana, sans-serif"><b>Time: </b>9<span class="gmail_default" style="font-family:verdana,sans-serif">:00 </span>a<span class="gmail_default" style="font-family:verdana,sans-serif">.</span>m<span class="gmail_default" style="font-family:verdana,sans-serif">.</span> <span class="gmail_default" style="font-family:verdana,sans-serif">(</span>ET<span class="gmail_default" style="font-family:verdana,sans-serif">)</span></font></div><div><font face="verdana, sans-serif"><b>Location: </b>NSH 4305</font></div><div><font face="verdana, sans-serif"><b>Zoom Link: </b><a href="https://www.google.com/url?q=https://cmu.zoom.us/j/97463407099?pwd%3DTp69Yms7hu7kOkgA1jBiQLQPhTyxDe.1&sa=D&source=calendar&ust=1731745749580401&usg=AOvVaw2uNS6oDx-js-n2WM8Ssyd5" style="color:rgb(26,115,232);letter-spacing:0.2px" target="_blank" rel="noreferrer">https://cmu.zoom.us/j/97463407099?pwd=Tp69Yms7hu7kOkgA1jBiQLQPhTyxDe.1</a></font></div><div><font face="verdana, sans-serif"><b>Type:</b> Ph.D. Thesis Proposal</font></div><div><font face="verdana, sans-serif"><b>Who:</b> Shuli Jiang</font></div><div><font face="verdana, sans-serif"><b>Title:</b> Communication Efficient and Differentially Private Optimization</font></div><div><font face="verdana, sans-serif"><br></font></div><div><b><font face="verdana, sans-serif">Abstract:</font></b></div><font face="verdana, sans-serif">In recent years, the integration of communication efficiency and differential privacy in distributed optimization has gained significant attention, motivated by large-scale applications such as Federated Learning (FL), where both data privacy and efficient communication are critical. This thesis explores the development of novel techniques to address these challenges, with a focus on distributed mean estimation, differentially private prediction, and private optimization for empirical risk minimization.<br><br>The first part of this work addresses communication-efficient distributed vector mean estimation, an essential subroutine in distributed optimization and FL. We propose the Rand-Proj-Spatial family estimator which utilizes cross-client correlation to reduce the estimation error under fixed communication cost, by projecting client vectors into a random subspace using a Subsampled Randomized Hadamard Transform (SRHT). This approach captures cross-client correlation more effectively, demonstrating substantial performance gains over conventional sparsification techniques in various distributed optimization tasks.<br><br>The second part of this work focuses on maximizing the privacy-utility trade-offs in differentially private prediction through majority ensembling. We introduce the Data-dependent Randomized Response Majority (DaRRM) framework, which generalizes all private majority ensembling algorithms through a data-dependent noise function. Based on DaRRM, we propose a computationally tractable optimization procedure for maximizing utility under a fixed privacy loss. Empirical results demonstrate DaRRM’s effectiveness in private label ensembling for image classification, showing significant utility improvements over existing baselines.<br><br>The third part of this work investigates differentially private optimization in solving empirical risk minimization using shuffled gradient methods. Unlike conventional private optimizers such as DP-SGD, which benefits from privacy amplification by subsampling, shuffled gradient methods face unique challenges in privacy and convergence. We develop a theoretical framework for analyzing Incremental Gradient (IG) methods, the most basic form of shuffled gradient methods, that enables noise injection for privacy and the use of surrogate objectives, introducing a new dissimilarity metric to measure the difference between true and surrogate objectives. Leveraging privacy amplification by iteration, we establish the first empirical excess risk bound for differentially private IG (DP-IG), and show how interleaving public data in training can further improve privacy-convergence trade-offs in DP-IG.<br><br>Finally, we introduce two proposed works along the line of differentially private optimization. First, we aim to extend our theoretical framework to analyze Shuffle Once (SO) and Random Reshuffling (RR), two practical shuffled gradient methods beyond Incremental Gradient (IG) methods. This will enable us to understand their private counterparts, DP-SO and DP-RR, where privacy analysis is more complex due to a lack of understanding on privacy amplification through shuffling. Second, we plan to extend our framework from a local to a distributed or decentralized setting to analyze convergence rates of distributed shuffled gradient methods in both private and non-private contexts, while also investigating the impact of data heterogeneity among clients on convergence in this setting.<br></font><div><font face="verdana, sans-serif"><br></font></div><div><b><font face="verdana, sans-serif">Thesis Committee Members:</font></b></div><div><font face="verdana, sans-serif">Gauri Joshi<span class="gmail_default" style="font-family:verdana,sans-serif">, </span>Chair</font></div><div><font face="verdana, sans-serif">Steven Wu</font></div><div><font face="verdana, sans-serif">Zachary Manchester</font></div><div><font face="verdana, sans-serif">Swanand Kadhe<span class="gmail_default" style="font-family:verdana,sans-serif">, </span>IBM Research</font></div><div><font face="verdana, sans-serif"><br></font></div><div><font face="verdana, sans-serif">A draft of the thesis proposal document can be found <a href="https://11hifish.github.io/content/thesis_proposal.pdf" target="_blank" rel="noreferrer">here</a><span class="gmail_default" style="font-family:verdana,sans-serif">. </span>(<span class="gmail_default" style="font-family:verdana,sans-serif">a</span>vailable after Nov.<span class="gmail_default" style="font-family:verdana,sans-serif"></span>18)</font></div></div></div>
</div>
</div>