<div dir="ltr">The issue is fixed! It turns out they were renaming packages and the firmware we were missing is now part of xen-qemu package.<div><br></div><div>Predrag</div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Mon, May 30, 2022 at 5:41 PM Predrag Punosevac <<a href="mailto:predragp@andrew.cmu.edu">predragp@andrew.cmu.edu</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr">Dear Autonians,<div><br></div><div>I hope you have a good Memorial day weekend. Instead of barbequing, I decided to upgrade our Xen host from Alpine Linux 3.15.4 to 3.16.0. Unfortunately, things didn't go well and it appears that Xen host is temporarily broken. For the record the upstream broke things as they rolled out 3.16.0 without sufficient testing. Obviouly I was dumb enough not to check things before upgrading. </div><div><br></div><div><br></div><div>xen1:/etc/xen/my-guests/auto# xl create lop2.cfg<br>Parsing config from lop2.cfg<br>libxl: info: libxl_create.c:121:libxl__domain_build_info_setdefault: qemu-xen is unavailable, using qemu-xen-traditional instead: No such file or directory<br>xc: error: panic: xg_dom_core.c:206: failed to open file '/usr/lib/xen/boot/ipxe.bin': No such file or directory: Internal error<br>libxl: error: libxl_dom.c:990:libxl__domain_firmware: failed to load IPXE /usr/lib/xen/boot/ipxe.bin (-1): No such file or directory<br>libxl: error: libxl_dom.c:1087:libxl__build_hvm: initializing domain firmware failed<br>libxl: error: libxl_create.c:1611:domcreate_rebuild_done: Domain 6:cannot (re-)build domain: -3<br>libxl: error: libxl_domain.c:1183:libxl__destroy_domid: Domain 6:Non-existant domain<br>libxl: error: libxl_domain.c:1137:domain_destroy_callback: Domain 6:Unable to destroy guest<br>libxl: error: libxl_domain.c:1064:domain_destroy_cb: Domain 6:Destruction of domain failed<br></div><div><br></div><div><br></div><div>That affects a handful of lightly used virtual machines but also shell gateway</div><div><br></div><div><a href="http://lop2.autonlab.org" target="_blank">lop2.autonlab.org</a></div><div><br></div><div>I quickly changed routing tables so that you can use</div><div><br></div><div><a href="http://deimos.autonlab.org" target="_blank">deimos.autonlab.org</a></div><div><br></div><div>instead.  That way the number of shell gateways for people who don't have Auton Lab desktops remains 3 with the caveat that bash is unstable due to the hardware problems. I will try to replace it in a day or two. </div><div><br></div><div>The ssh to <a href="http://demos.autonlab.org" target="_blank">demos.autonlab.org</a> will take you to foxconn CPU computing node. Please don't use that computing node unless you don't have other alternatives. </div><div><br></div><div>Most Kind Regards,</div><div>P^2</div><div><br></div><div><br></div></div>
</blockquote></div>