<div dir="ltr">There is nothing to be thankful about. A few days worth of work was lost due to misuse, lack of debugging, and poor design of experiments. Just imagine the loss of revenue if these were iTunes servers running holiday sales...<div><br></div><div>Predrag</div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Fri, May 12, 2023 at 3:36 PM Chenghui Zhou <<a href="mailto:chenghuz@andrew.cmu.edu" target="_blank">chenghuz@andrew.cmu.edu</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr">Thanks for looking into it! They seem to be working now!</div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Fri, May 12, 2023 at 3:34 PM Predrag Punosevac <<a href="mailto:predragp@andrew.cmu.edu" target="_blank">predragp@andrew.cmu.edu</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr">Hi Chenghui,<div><br></div><div><br></div><div>Let me clarify my previous post. The number of machines were zombified by users, not by me or some other supernatural power. I know better than to change any configuration a few days before the major conference. <br></div><div><br>As you might know, the cluster is a shared resource. I have zero control over the behaviour of such a large, diverse group. I can  advise, recommend, or educate about the topics I know something about. I don't debug other people's code. I don't have any magic powers. <br></div><div><br></div><div>Predrag </div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Fri, May 12, 2023 at 3:24 PM Chenghui Zhou <<a href="mailto:chenghuz@andrew.cmu.edu" target="_blank">chenghuz@andrew.cmu.edu</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr">Hello Predrag,<div><br></div><div>As NeurIPS is nearing, it is really important for us to have clusters functioning to run some of the lat experiments. However, right now, I notice that at least 5 clusters that I'm able to log in do not have my working directory in it, same issue as Ifi reported. The rest of the functional clusters are all full. Could you please look into that, thank you!</div><div><br></div><div>Chenghui</div></div>
</blockquote></div>
</blockquote></div>
</blockquote></div>