<div dir="ltr">monit is up, git is up.<div><br></div><div>I am fixing Xen now. I will start restoring CPUs after that.</div><div><br></div><div>Predrag</div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Wed, Oct 28, 2020 at 3:13 PM Predrag Punosevac <<a href="mailto:predragp@andrew.cmu.edu">predragp@andrew.cmu.edu</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">Nicholas Gisolfi <<a href="mailto:ngisolfi@cs.cmu.edu" target="_blank">ngisolfi@cs.cmu.edu</a>> wrote:<br>
<br>
> Hi Predrag,<br>
> <br>
> It looks like lop2 and monit are down.  There is a thread on the auton<br>
> slack talking about alternate gateways...we found a list from an April 2020<br>
> email of yours<br>
<br>
Hi Autonians,<br>
<br>
<br>
I figured out that it would be easier just to replay to all of you that<br>
to replay to individual emails. <br>
<br>
This morning around 11:15 AM Kris Hutchings and I swapped two server<br>
racks and this a bunch of electric work in the server room. This work<br>
was planned since February and could no longer be postponed. Namely, I<br>
claimed a bit more electricity for our lab which is necessary to bring<br>
up 4 new CPU nodes which were collecting dust in the dungeon. I didn't<br>
email about this as the two weeks in a row we had problems with people<br>
coming up with the fever including your truly about 8 days ago so when I<br>
saw Kris this morning in the server room we had to act at once.<br>
<br>
I am in the process of restoring services from the most important once<br>
(network, file servers) and hopefully bringing CPU nodes back before the<br>
end of the day. It is possible that CPU work will have to be continued<br>
tomorrow as there is just too much stuff down right now.<br>
<br>
GPU computing should not be affected. Git and Monit appear to be down<br>
but that is just a routing problem which I am fixing right now. <br>
lop2 is a virtual machine which will be restored hopefully shortly.<br>
<br>
Predrag<br>
<br>
<br>
<br>
<br>
> <br>
> <a href="http://lop2.autonlab.org" rel="noreferrer" target="_blank">lop2.autonlab.org</a><br>
> <a href="http://lop1.autonlab.org" rel="noreferrer" target="_blank">lop1.autonlab.org</a><br>
> <a href="http://lion.auton.cs.cmu.edu" rel="noreferrer" target="_blank">lion.auton.cs.cmu.edu</a><br>
> <a href="http://bash.autonlab.org" rel="noreferrer" target="_blank">bash.autonlab.org</a><br>
> <br>
> Ben (cc'ed) and I tried to log in via lion for the first time and it looks<br>
> like our usual log-in credentials don't work.  I figured I should bring<br>
> this to your attention, just in case this isn't expected behavior.<br>
> <br>
> - Nick<br>
</blockquote></div>