<div dir="ltr"><div>This seems to be an issue with the way your code is utilizing the GPU RAM. It seems as the Card is running out of RAM.</div><div><br></div>Please make sure you are setting the GPU card environment variable where you want to execute your CUDA code using <div><br><div>$export CUDA_VISIBLE_DEVICES=#<wbr>GPUNUMBER</div><div><br></div><div>Also try to calculate how much RAM is your card using. If its more than the maximum RAM of the GPU, try to use smaller batch sizes.</div><div><br></div><div>Chirag</div><div><br></div><div><br></div><div><br></div></div><div class="gmail_extra"><br><div class="gmail_quote">On Sun, Apr 22, 2018 at 8:06 PM, Predrag Punosevac <span dir="ltr"><<a href="mailto:predragp@andrew.cmu.edu" target="_blank">predragp@andrew.cmu.edu</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><span>Siyu He <<a href="mailto:siyu.cosmo@gmail.com" target="_blank">siyu.cosmo@gmail.com</a>> wrote:<br>
<br>
> Dear all,<br>
> <br>
> Sorry to bother you on this. I am running some jobs on autonlab. It works all fine but all of a sudden I receive the following error:<br>
> RuntimeError: CUDNN_STATUS_INTERNAL_ERROR<br>
> Then all my jobs cannot be run even for those which are working well before. <br>
> Do you know why does this happen? <br>
<br>
</span>This is a poor problem report. When was the last time program was<br>
working OK? When did you notice the problem. Any changes in your local<br>
path etc etc... What are you trying to do.<br>
<br>
Predrag<br>
<br>
> <br>
> Thanks!!<br>
> Siyu<br>
> <br>
> <br>
</blockquote></div><br><br clear="all"><div><br></div>-- <br><div class="m_-5039788142851939176gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><span style="color:rgb(0,0,0)"><span style="background-color:rgb(255,255,255)"><span><b>Chirag Nagpal<br></b>
Graduate Student, Language Technologies Institute<br>
School of Computer Science<br>
Carnegie Mellon University<br></span></span></span></div><div><span style="color:rgb(0,0,0)"><span style="background-color:rgb(255,255,255)"><span><a href="http://cs.cmu.edu/~chiragn" target="_blank">cs.cmu.edu/~chiragn</a><br></span></span></span></div></div></div></div></div></div>
</div></div>