<div dir="ltr">Hi Predrag,<div><br></div><div>Thanks for updating me on this. It seems that my runs are still running on the server and I hope if we can wait until Monday to see if the processes terminate or if the kernel crashes. Meanwhile, I will copy the results of my runs that I save on the zfsauton disk for backup. </div><div><br clear="all"><div><div dir="ltr" class="gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div><font face="arial, helvetica, sans-serif">Thanking you, </font></div><div><font face="arial, helvetica, sans-serif"><br></font></div><div><font face="arial, helvetica, sans-serif">Warm Regards, </font></div><div><font face="arial, helvetica, sans-serif"><br></font></div><div dir="ltr"><font face="arial, helvetica, sans-serif"><span></span>Tanmay Agarwal<span></span> | MSR Graduate Student</font><div><font face="arial, helvetica, sans-serif">Robotics Institute @ CMU</font></div><div><font face="arial, helvetica, sans-serif">mailto: <a href="mailto:tanmaya@andrew.cmu.edu" target="_blank">tanmaya@andrew.cmu.edu</a></font></div></div></div></div></div></div></div></div></div></div></div></div></div></div><br></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Sat, Aug 8, 2020 at 10:01 PM Predrag Punosevac <<a href="mailto:predragp@andrew.cmu.edu">predragp@andrew.cmu.edu</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr">I have checked the server. You overloaded it. I can log as a root but not as a regular user. I can reboot it or we can wait out to see if the process self terminates. If the kernel crashes we will have to wait until Monday to be able to reboot it. gpu21 is not located in our rack and it is not connected to our IPMI console. Somebody will actually have to walk to the server and press the reset button. <div><br></div><div>Cheers,</div><div>Predrag</div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Sat, Aug 8, 2020 at 7:32 PM Tanmay Agarwal <<a href="mailto:tanmaya@andrew.cmu.edu" target="_blank">tanmaya@andrew.cmu.edu</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr">Hi Predrag,<div><br></div><div>Hope you are doing well!</div><div><br></div><div>I wanted to bring to your attention that the GPU21 seems to be not accessible. Can you please check and get back to us as I have a few important experiments running on it and need to access them?</div><div><br></div><div>Looking forward to hearing from you.</div><div><br clear="all"><div><div dir="ltr"><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div><font face="arial, helvetica, sans-serif">Thanking you, </font></div><div><font face="arial, helvetica, sans-serif"><br></font></div><div><font face="arial, helvetica, sans-serif">Warm Regards, </font></div><div><font face="arial, helvetica, sans-serif"><br></font></div><div dir="ltr"><font face="arial, helvetica, sans-serif"><span></span>Tanmay Agarwal<span></span> | MSR Graduate Student</font><div><font face="arial, helvetica, sans-serif">Robotics Institute @ CMU</font></div><div><font face="arial, helvetica, sans-serif">mailto: <a href="mailto:tanmaya@andrew.cmu.edu" target="_blank">tanmaya@andrew.cmu.edu</a></font></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div>
</blockquote></div>
</blockquote></div>