<div dir="ltr"><div dir="ltr">Team,<div><br></div><div>I can't stress enough how important is being good citizens in how we utilize our shared computing resources.</div><div><br></div><div>The key realization is that their capacity is not infinite, and so we all need to play along nicely.</div><div><br></div><div>Please for now follow the recommendations provided by Ben below.</div><div><br></div><div>In the meantime, Predrag is preparing formal guidelines, to be published shortly.</div><div><br></div><div>Barnabas, Jeff and I will convene to consider implementing more systematic </div><div>measures of resource consumption control, if it turns out to be necessary due</div><div>to persistence of the problems we are facing over the past few days.</div><div><br></div><div>Cheers,</div><div>Artur</div><div><br></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Thu, Nov 14, 2019 at 11:36 AM Benedikt Boecking <<a href="mailto:boecking@andrew.cmu.edu">boecking@andrew.cmu.edu</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">Hi all,<br>
<br>
We are currently running into problems on several servers due to some users spawning too many threads. On several compute nodes we have several thousand threads running in parallel. <br>
<br>
To be a good lab member please:<br>
1. Use top/htop and nvidia-smi to monitor your resource usage and keep it reasonable (memory, cpu, and gpu usage). <br>
<br>
2.  Check that you aren’t using more threads than intended due to automatic multiprocessing. This happens for example with numpy and spicy linalg functions on the servers.You can control most of this behavior by setting the following variables before running scripts or notebooks, setting them to however many threads you want:<br>
<br>
export MKL_NUM_THREADS=1<br>
export NUMEXPR_NUM_THREADS=1<br>
export OMP_NUM_THREADS=1<br>
<br>
3. If you have (interactive) session open that you don’t need anymore please close them to free memory (in particular Matlab and jupyter notebooks)<br>
<br>
<br>
<br>
Thanks,<br>
Ben<br>
<br>
<br>
<br>
<br>
</blockquote></div></div>