<div dir="ltr">Hi Shuli <div><br></div><div>Before using a particular machine, please use nvidia-smi to see if the machine you are using has a card with free Video RAM. </div><div><br></div><div>Once you are sure of the machine and the card you want to use please use </div><div><br></div><div>$EXPORT CUDA_VISIBLE_DEVICES=k</div><div><br></div><div>on the machine  with k being the free GPU Card. </div><div><br></div><div>this would ensure your CUDA job is only resident in the target GPU. </div><div><br></div><div>Best, </div><div><br></div><div>Chirag </div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Tue, Jul 9, 2019 at 4:46 PM Predrag Punosevac <<a href="mailto:predragp@andrew.cmu.edu">predragp@andrew.cmu.edu</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">Send an email to <a href="mailto:users@autonlab.org" target="_blank">users@autonlab.org</a> and ask politely people to free up<br>
memory. Locking up memory is a "feature" of deep learning software.<br>
<br>
On Tue, Jul 9, 2019 at 3:38 PM Shuli Jiang <<a href="mailto:shulij@alumni.cmu.edu" target="_blank">shulij@alumni.cmu.edu</a>> wrote:<br>
><br>
> Hello, Predrag,<br>
><br>
> I found lab gpu machines have a problem today: cuda out of memory.<br>
> Could you please take a look?<br>
> Thanks a lot.<br>
><br>
> Best,<br>
> Shuli<br>
</blockquote></div><br clear="all"><div><br></div>-- <br><div dir="ltr" class="gmail_signature"><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><span style="color:rgb(0,0,0)"><span style="background-color:rgb(255,255,255)"><span><b>Chirag Nagpal<br></b>
Graduate Student, Language Technologies Institute<br>
School of Computer Science<br>
Carnegie Mellon University<br></span></span></span></div><div><span style="color:rgb(0,0,0)"><span style="background-color:rgb(255,255,255)"><span><a href="http://cs.cmu.edu/~chiragn" target="_blank">cs.cmu.edu/~chiragn</a><br></span></span></span></div></div></div></div></div></div>