<div dir="ltr">Dear Autonians,<div><br></div><div>I hope everyone had a good Thanksgiving. I wish you safe travels.</div><div><br></div><div>I have fixed the main file server (home directories). Since the fix required reboot, I upgraded the OS to the latest FreeBSD 13.1p4. I verified autofs on several computing nodes (gpu24 was one of them). Everything works as expected. If somebody notices any stale NFS file handles please report immediately as those computing nodes will have to be rebooted.  Stale NFS file handles will not resolve on their own. </div><div><br></div><div>There are at least 2 other file server servers (/zfsauton/data, /zfsauton/projects, /zfsauton/datasets) which need to be fixed. I don't want to jinx it by giving ETA.</div><div><br></div><div>Please adhere to the Auton Lab etiquette to keep the system stable. </div><div><br></div><div><a href="https://docs.google.com/document/d/1ah94jN6tMFeHMttyW9Vr9vjhjMQoT7Cb/edit">https://docs.google.com/document/d/1ah94jN6tMFeHMttyW9Vr9vjhjMQoT7Cb/edit</a><br></div><div><br></div><div>Best,</div><div>Predrag</div><div><br></div><div><br></div><div><br></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Wed, Nov 23, 2022 at 12:12 PM Predrag Punosevac <<a href="mailto:predragp@andrew.cmu.edu">predragp@andrew.cmu.edu</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr">The issues didn't go away over the night. I played with this a little bit last night and this morning. I see the same problem with three out of 4 file servers. Restarting nsfd, rpcbind, and a few other daemons didn't fix anything. At this point your home directories are not usable. Unless somebody gives a really good reason not to reboot these file servers they will be rebooted today in an attempt to fix the system.<div><br></div><div>Best,</div><div>Predrag</div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Tue, Nov 22, 2022 at 9:20 PM Predrag Punosevac <<a href="mailto:predragp@andrew.cmu.edu" target="_blank">predragp@andrew.cmu.edu</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr">Dear Autonians,<div><br></div><div>It came to my attention that autofs daemon is not doing its job on the numerous computing nodes. On one of the computing nodes I found this in /var/log/messages</div><div><br></div><div>Your configuration uses the autofs provider with schema set to rfc2307 and default attribute mappings. The default map has changed in this release, please make sure the configuration matches the server attributes.<br></div><div><br></div><div>which points to an old bug in SSSD which was fixed years ago</div><div><br></div><div><a href="https://bugzilla.redhat.com/show_bug.cgi?id=1372814" target="_blank">https://bugzilla.redhat.com/show_bug.cgi?id=1372814</a><br></div><div><br></div><div>I need to poke a bit more with this before I say anything else.</div><div><br></div><div>Best,</div><div>Predrag</div><div><br></div></div>
</blockquote></div>
</blockquote></div>