<div dir="ltr">+1 I have also observed that (and had to individually send email to users to kill useless processes that were devouring computing).<br></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Thu, Dec 16, 2021 at 1:16 PM Benedikt Boecking <<a href="mailto:boecking@andrew.cmu.edu">boecking@andrew.cmu.edu</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">Hello everyone,<br>
<br>
Many lab members currently have idle processes on our GPU servers that are hindering usage of the gpus by others. This can happen for many reasons, including forgetting about jupyter notebooks or errors that stall a script without all threads being closed. While the processes are idle, they can still hog GPU and server memory. <br>
<br>
I would like to ask you to please log on to the GPU servers you have used to check if this is the case for any of your processes. You can check this on a server by using nvidia-smi to see which processes are running on which GPU, and you can use htop and filter for your username or process ID to see if the process IDs are yours in case the process name shown on nvidia-smi doesn’t give it away immediately.<br>
<br>
Thanks in advance for your collaboration! <br>
<br>
Best,<br>
Ben<br>
<br>
<br>
<br>
<br>
</blockquote></div>