<div dir="auto">Because cuda folder is cuda 10.2 folder. Cuda folder is typically just a symbolic link to the curen version of cuda.</div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Tue, Aug 18, 2020, 11:31 AM Kyle Miller <<a href="mailto:mille856@andrew.cmu.edu">mille856@andrew.cmu.edu</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">I see. I ran a few find commands on gpu13, I couldn't find a cuda folder or CUPTI.<br></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Tue, Aug 18, 2020 at 10:00 AM Ifigeneia Apostolopoulou <<a href="mailto:iapostol@andrew.cmu.edu" target="_blank" rel="noreferrer">iapostol@andrew.cmu.edu</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr">Hi Kyle,<div>Thanks a lot for your reply!</div><div><br></div><div>I also had this issue and I solved it as you did. However, this seems to be another issue:</div><div>I currently can't see CUPTI in usr/local/cuda/extras/CUPTI (or anywhere in gpu1 to set it to my path) which causes the issue.</div><div>I am also attaching the screenshot with the working (gpu3) and not-working (gpu1) case. In gpu1, gpu2, gpu13, it seems that the directory cuda (and all its content) has been moved (and I can't find it in any other directory).</div><div><br></div><div><br></div><div><br></div><div><br></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Tue, Aug 18, 2020 at 9:32 AM Kyle Miller <<a href="mailto:mille856@andrew.cmu.edu" target="_blank" rel="noreferrer">mille856@andrew.cmu.edu</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div dir="ltr"><div>Ifi,</div><div>   I recently had difficulty on GPU13, having not used it in a long while. For me, the issue was that miniconda had moved. I added /opt/miniconda-py38/bin to my path and rebuilt my environment (not sure if that was necessary). Then it worked.</div><div>-Kyle<br></div></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Tue, Aug 18, 2020 at 2:14 AM Predrag Punosevac <<a href="mailto:predragp@andrew.cmu.edu" target="_blank" rel="noreferrer">predragp@andrew.cmu.edu</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">Ifigeneia Apostolopoulou <<a href="mailto:iapostol@andrew.cmu.edu" target="_blank" rel="noreferrer">iapostol@andrew.cmu.edu</a>> wrote:<br>
<br>
> Hi Predrag,<br>
> <br>
> I hope that this (weird) summer is going well!<br>
> <br>
> I noticed a change in servers gpu1, gpu2, gpu13, gpu14.<br>
> Specifically, I no longer can find<br>
<br>
I have not touch those servers in a very long time. I am CC-ing users<br>
mailing list. My brain is shutting down at this late hour. Maybe<br>
somebody could be of more help tomorrow morning.<br>
<br>
> <br>
> /usr/local/cuda/extras/CUPTI<br>
> <br>
<br>
I believe you. <br>
<br>
<br>
> which results in the error when I'm building my tensorflow models.<br>
> <br>
>  Not found: ./bin/ptxas not found. Relying on driver to perform ptx<br>
> compilation. This message will be only logged once.<br>
> <br>
> Any ideas, how could I solve this issue? Would it be possible to restore<br>
> the cuda directory?<br>
> <br>
> Also, I currently do not have access to gpu21.<br>
<br>
It is fixed now. I just restarted sssd daemon. Please don't use gpu20<br>
and gpu21 unless you are training 3D neuronal networks for which you<br>
need lot of GPU memory.<br>
<br>
Predrag<br>
<br>
<br>
> <br>
> Thanks a lot in advance!<br>
</blockquote></div>
</blockquote></div>
</blockquote></div>
</blockquote></div>