<div dir="ltr">In the case anybody cares, the crash was caused by the failing 12TB HDD. The failing HDD caused ZFS to work overtime in order to recover errors which in turn lead to the excessive use of memory. Once all 192GB of RAM and 16 GB of swap were used, the server crashed. <div>Also in the case anyone cares, the solution was emailed to me by our sysinfo log monitoring system. I just had to interpret it. <br><div><br></div><div>Best,</div><div>Predrag</div></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Mon, Apr 18, 2022 at 1:21 PM Predrag Punosevac <<a href="mailto:predragp@andrew.cmu.edu">predragp@andrew.cmu.edu</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr">/zfsauton/datasets are now available. I spoke too soon. The datasets NFS shares are hosted on the largest file server (Ourea) we had in the lab purchased 2.5 years ago by Dr. Schneider. That is a relatively new hardware. The server rebooted and it took a long time to clear the file system. I didn't find any reason for a reboot in the past 10-15 minutes since the server came back on line and I had access to it. <div><br></div><div>I am not going to second guess today what was the problem. If one of the PMx guys wants to join this forensic investigation they are more than welcome.</div><div><br></div><div>Predrag</div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Mon, Apr 18, 2022 at 11:33 AM Predrag Punosevac <<a href="mailto:predragp@andrew.cmu.edu" target="_blank">predragp@andrew.cmu.edu</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="auto">I am aware. I am still investigating. The server stopped responding to ping requests about an hour ago. I don't want to second guess but it looks as a serious hardware issue. The server is 7 year old.</div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Mon, Apr 18, 2022, 11:26 AM Swapnil Pande <<a href="mailto:swapnilp@andrew.cmu.edu" rel="noreferrer" target="_blank">swapnilp@andrew.cmu.edu</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr">Hi Predrag,<div><br></div><div>Hope you're doing well.</div><div><br></div><div>I am having trouble accessing datasets stored on `/zfsauton/datasets`. Running `ls` in /zfsauton seems to hang. Do you know what might be the problem?</div><div><br></div><div>Thanks for your help!</div><div><br></div><div>Regards,</div><div>Swapnil</div><div><br></div><div><br></div></div>
</blockquote></div>
</blockquote></div>
</blockquote></div>