<div dir="ltr">Could you try setting up everything in the scratch directory and test that way (if that's not what you're already doing)? The last time we had a CUDA problem I moved everything from /zfsauton/home to /home/scratch directories and I cannot reproduce the error on gpu{6,8,9}.<br></div><div class="gmail_extra"><br><div class="gmail_quote">On Tue, Nov 6, 2018 at 6:41 PM,  <span dir="ltr"><<a href="mailto:qiong.zhang@stat.ubc.ca" target="_blank">qiong.zhang@stat.ubc.ca</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><u></u><div><div style="font-family:arial,sans-serif;font-size:13px"> <p>I have a similar issue. When I submit the job, it says Runtime error: CUDA error: unknown error. I tried the simple commands that you provided, doesn't work as well.<br><br>Qiong</p><div><div class="h5"> <br>November 6, 2018 3:02 PM, "Matthew Barnes" <<a href="mailto:%22Matthew%20Barnes%22%20%3Cmbarnes1@andrew.cmu.edu%3E" target="_blank">mbarnes1@andrew.cmu.edu</a>> wrote:<br> <blockquote><div><div><div dir="ltr">Is anyone else having issues with CUDA since this week? Even simple pytorch commands hang:<div></div> <div> <div>(torch) bash-4.2$ python</div> <div>Python 2.7.5 (default, Jul 3 2018, 19:30:05)</div> <div>[GCC 4.8.5 20150623 (Red Hat 4.8.5-28)] on linux2</div> <div>Type "help", "copyright", "credits" or "license" for more information.</div> <div>>>> import torch</div> <div>x>>> x = torch.zeros(4)</div> <div>>>> x.cuda()</div> </div> <div></div> <div></div> <div>nvidia-smi works, and torch.cuda.is_available() returns True.</div> </div></div></div></blockquote> <br><br><u></u><u></u> </div></div></div></div>
</blockquote></div><br></div>