<div dir="ltr">Hi everyone,<div><br></div><div>I ran into an issue earlier today where I thought I was running some single threaded python code but numpy defaults to multi-threaded for some linear algebra. I think I might be the only one running into this problem (perhaps because my numpy version is different or something). But I got around it by setting the following environment variables when I wanted to force it to be single threaded:</div><div><br></div><div><div>export MKL_NUM_THREADS=1</div><div>export NUMEXPR_NUM_THREADS=1</div><div>export OMP_NUM_THREADS=1</div></div><div><br></div><div>More info here:</div><div><a href="http://stackoverflow.com/questions/17053671/python-how-do-you-stop-numpy-from-multithreading" target="_blank">http://stackoverflow.com/questions/17053671/python-how-do-you-stop-numpy-from-multithreading</a><br><a href="http://stackoverflow.com/questions/30791550/limit-number-of-threads-in-numpy" target="_blank">http://stackoverflow.com/questions/30791550/limit-number-of-threads-in-numpy</a><br><br></div><div>Maybe there's a simpler way, or maybe no one else faces this problem. But it did fix the issue for me.</div><div><br></div><div><br></div><br><div class="gmail_quote"><div dir="ltr">On Wed, May 17, 2017 at 1:41 PM Benedikt Boecking <<a href="mailto:boecking@andrew.cmu.edu" target="_blank">boecking@andrew.cmu.edu</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div style="word-wrap:break-word">All,<div><br></div><div>Right now there are over <b>80 threads</b> running on <b>lov4</b>, a machine that only has <b>64 cores</b>. The same happened on lov3 earlier today. I know that deadlines are approaching but please try to follow some reasonable person principles. Here is a non-exhaustive list of things you should do before running experiments on our servers:</div><div><br></div><div>1. Before starting a new job, check the amount of available memory and how many other jobs are currently running. The easiest way to do this is to use htop. </div><div>2. If a computing node is at its limit, check if any other nodes are underutilized (<a href="http://monit.autonlab.org:8080/status/hosts/" target="_blank">http://monit.autonlab.org:8080/status/hosts/</a>)</div><div>3. “nice" your jobs if they require a lot of resources and will be running for a long time (<a href="https://en.wikipedia.org/wiki/Nice_(Unix))" target="_blank">https://en.wikipedia.org/wiki/Nice_(Unix))</a></div><div>4. Use a reasonable number of threads and limit excessive memory usage.</div><div>5. Close your jupyter notebooks, matlab sessions etc. that you don’t need anymore</div><div>6. Move files from the scratch to your home directory on zfsauton if you don’t need them anymore for your current experiments. </div><div>7. If you are using GPUs, use nvidia-smi to check utilization and make sure your code does not automatically allocate all GPUs and all GPU memory to your experiment.</div><div><br></div><div>Please respond to this email if you have any additional recommendations for your fellow lab members. </div><div><br></div><div>Best,</div><div>Ben</div><div><br></div><div><div>
<div style="color:rgb(0,0,0);font-family:Helvetica;font-size:12px;font-style:normal;font-variant-caps:normal;font-weight:normal;letter-spacing:normal;text-align:start;text-indent:0px;text-transform:none;white-space:normal;word-spacing:0px"><br></div><div style="color:rgb(0,0,0);font-family:Helvetica;font-size:12px;font-style:normal;font-variant-caps:normal;font-weight:normal;letter-spacing:normal;text-align:start;text-indent:0px;text-transform:none;white-space:normal;word-spacing:0px"><br></div></div></div></div></blockquote></div></div><div dir="ltr">-- <br></div><div data-smartmail="gmail_signature"><div dir="ltr"><div><br></div>- Sibi</div></div>