<div dir="ltr">5:58:15 AM this morning there was a power outage in the server room. I have in my log files and I just called the server room crew to confirm. All GPU nodes are up and running. I logged in each one of 23 machines to make sure GPU cards are properly detected. Only GPU3 required manual fixing. FYI the servers were automatically started while I was sleeping :-)<div><br></div><div>Cheers,</div><div>Predrag<br><div><br></div><div><br><div><div><br></div><div><br></div></div></div></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Sat, Aug 14, 2021 at 10:20 AM Predrag Punosevac <<a href="mailto:predragp@andrew.cmu.edu">predragp@andrew.cmu.edu</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="auto">FYI I just woke up. I have over 400 emails from sysinfo. Either there was a genuine power outage in server room or someone did something really stupid. I will be driving to CMU I 30 min.<div dir="auto"><br></div><div dir="auto">GPU nodes are not on UPS as there are no UPS designed for such power hogs.</div><div dir="auto"><br></div><div dir="auto">Best, </div><div dir="auto">Predrag</div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Sat, Aug 14, 2021, 7:37 AM Ifigeneia Apostolopoulou <<a href="mailto:iapostol@andrew.cmu.edu" target="_blank">iapostol@andrew.cmu.edu</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><br></div>
</blockquote></div>
</blockquote></div>