<div dir="ltr">Hi Conor,<div><br></div><div>I just noticed myself. It is not just GPUs 1-9 it is also Denver. The common thing for all those 10 servers is that they draw electricity from the same Metered 17.3 kW PDU. Sure enough IPMI is off as well which confirms that there is no electric power in that server RACK. Somebody cut the electricity to the RACK A1-2A or PDU had a catastrophic failure. I am now calling the server room to have them physically inspect the rack. </div><div><br></div><div>Best,</div><div>Predrag </div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Thu, Dec 1, 2022 at 6:37 PM Conor Igoe <<a href="mailto:cigoe@cs.cmu.edu">cigoe@cs.cmu.edu</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr">Predrag,<div><br></div><div>Sorry to bother you, but I was wondering if you knew why GPUs 1-9 are offline since earlier today? </div><div><br></div><div>Best,</div><div><i>Conor</i></div></div>
</blockquote></div>