<div dir="ltr"><div>Oh come on. The server is reprovision. All cryptographic keys are regenerated. You need to open your file ~/.ssh/know_hosts  and remove the old cryptographic key.</div><div><br></div><div>P^2<br></div><div><br></div><div><br></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Tue, Oct 11, 2022 at 11:43 PM Ravi Tej Akella <<a href="mailto:ravitej@cmu.edu">ravitej@cmu.edu</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr">Hi Predrag,<div><br></div><div>When I try ssh-ing into GPU14, I get the following error message (I don't get any error message when I log into other GPUs):</div><div><br></div><div>@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@<br>@    WARNING: REMOTE HOST IDENTIFICATION HAS CHANGED!     @<br>@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@<br>IT IS POSSIBLE THAT SOMEONE IS DOING SOMETHING NASTY!<br>Someone could be eavesdropping on you right now (man-in-the-middle attack)!<br>It is also possible that a host key has just been changed.<br>The fingerprint for the ECDSA key sent by the remote host is ------------.<br>Please contact your system administrator.<br>Add correct host key in /zfsauton2/home/rakella/.ssh/known_hosts to get rid of this message.<br>Offending ECDSA key in /zfsauton2/home/rakella/.ssh/known_hosts:40<br>ECDSA host key for gpu14 has changed and you have requested strict checking.<br>Host key verification failed.<br></div><div><br clear="all"><div><div dir="ltr"><div dir="ltr"><span style="color:rgb(136,136,136);font-family:Roboto,RobotoDraft,Helvetica,Arial,sans-serif">Regards,</span><div style="color:rgb(136,136,136);font-family:Roboto,RobotoDraft,Helvetica,Arial,sans-serif">Ravi Tej Akella<br></div><div style="color:rgb(136,136,136);font-family:Roboto,RobotoDraft,Helvetica,Arial,sans-serif"></div></div></div></div><br></div></div><div hspace="streak-pt-mark" style="max-height:1px"><img alt="" style="width: 0px; max-height: 0px; overflow: hidden;" src="https://mailfoogae.appspot.com/t?sender=acmFrZWxsYUBhbmRyZXcuY211LmVkdQ%3D%3D&type=zerocontent&guid=efe0881f-b47f-41bf-9089-3711f80cac31"><font size="1" color="#ffffff">ᐧ</font></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Tue, Oct 11, 2022 at 11:04 PM Predrag Punosevac <<a href="mailto:predragp@andrew.cmu.edu" target="_blank">predragp@andrew.cmu.edu</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><br><div><p id="m_4696880243744050439m_6887384261823231866gmail-isPasted">Dear Autonians,</p><p>After some delay due 
to the conference deadlines, GPU14 is finally reprovisioned to run RHEL 
9. According to my limited testing, things appear to work as expected. Please
 log into GPU14 and test extensively. If this turns out to be a truly 
working configuration, Piotr Bartosiewicz and I will reprovision all 
existing RHEL 7 computing nodes with RHEL 9.</p><p>Best,</p><p>Predrag</p></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Tue, Sep 27, 2022 at 8:46 PM Predrag Punosevac <<a href="mailto:predragp@andrew.cmu.edu" target="_blank">predragp@andrew.cmu.edu</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div>Dear Autonians,</div><div><br></div>The short version of this email is that I am planning to offline gpu14 this Thursday in order to upgrade from RHEL 7.9 to recently released RHEL 9.0. The GPU node is currently idle. Please don't start jobs as you will lose them.<br><br>If you have 10 minutes, the long version of this email reads:<br><br><br>It has been brought to my attention that some lab members are running into a problem with glibc library version 2.28 shipped with RHEL 8.6. Currently, about 50% of our computing nodes run an even older version of RHEL 7.9 which is shipped with 2.17.<br><br>RHEL 9.0 was released less than half a year ago. It is shipped with glibc 2.34. GCC 11.2.1 and binutils 2.35.2. The default Python version is 3.9. The common wisdom is to hold any upgrades until 9.1 release. Due to my personal connection with the Springdale community (Princeton university), which provides us with a free clone of RHEL, I know that 9.0 us production ready. I have already checked the NVidia/CUDA stack and RPMs are built. Therefore, I decided to schedule an experiment and to try to upgrade gpu14 to RHEL 9.0. If the experiment is successful,  Piotr Bartosiewicz and I will upgrade all computing nodes currently running RHEL 7.9 to 9.0 release. Computing nodes and all workstations currently running 8.6 will not be touched to maintain the usability of the system. <br><br>Ubuntu fans should be aware that  22.04 is shipped with glibc 2.35 but GCC and many other things a minor point releases behind RHEL 9.0. The last time I looked, CS CMU facilities were upgrading all desktops to Ubuntu 20.04 from 18.04 and earlier. CMU CS facilities don't run Ubuntu on servers and they are still in crisis mode due to unanticipated termination of the CentOS clone of RHEL 8.xxx. The last time I talked to Ed Walter they were running Cent/RHEL 7.9 and thinking about what to do next (Alma Linux, Rocky Linux as well as what to do with obsolete ROCKS clusters). I did my best to spare you from those things.<br><br>Cheers,<br>Predrag<br></div>
</blockquote></div></div>
</blockquote></div>
</blockquote></div>