<div dir="ltr"><div><div><div><div><div>So I digged in a little more and it seemed to me initially the problem is in ipython itself rather than ipython[notebook]/jupyter. <br><br></div>and indeed, running just ipython stuck on the nodes as well. I fixed that by adding the line <br><br></div>export IPYTHONDIR=/home/scratch/<user>/.ipython <br><br></div>to ~/.bash_profile<br></div><div><br></div>This forces ipython to use the scratch directory for  storing its sqlite histories rather than the NFS and fixes ipython. <br></div><div><br></div><div><Predrag: if you see this, request if you could add this environment variable to the global profile><br></div><div><br></div><div>I was reasonably sure that this would fix the notebook too, but i haven't still been able to fix the notebooks. Something more sinister is going on with the notebooks. <br></div><div><br></div><div>I am on it.</div><div><br></div><div>Chirag<br></div><div><br></div><div><br></div><div><div><div><br><div><div><div><div><div class="gmail_quote">---------- Forwarded message ----------<br>From: <b class="gmail_sendername">Chirag Nagpal</b> <span dir="ltr"><<a href="mailto:chiragn@cs.cmu.edu" target="_blank">chiragn@cs.cmu.edu</a>></span><br>Date: Tue, Sep 26, 2017 at 7:48 PM<br>Subject: ipython sqlite errors<br>To: <a href="mailto:users@autonlab.org" target="_blank">users@autonlab.org</a><br><br><br><div dir="ltr"><div><div>So today ipython notebook randomly stopped working for me on the nodes. <br><br></div>After a bit of troubleshooting, I discovered that ipython/jupyter uses sqlite for storing notebook histories and sqlite over the NFS is not very efficient, especially if your trying concurrent access to a single notebook from multiple nodes. <br></div><div><br></div><div>Incase you are facing such issues a quick workaround is <br></div><div><br></div><div>$rm -rf ~/.local/share/jupyter/</div><div><br></div><div>or removing the file <code><span class="m_-3058721075556633563m_-3616206000808803764gmail-pln">nbsignatures</span><span class="m_-3058721075556633563m_-3616206000808803764gmail-pun">.</span><span class="m_-3058721075556633563m_-3616206000808803764gmail-pln">db from wherever it is on your home.</span></code></div><div><code><span class="m_-3058721075556633563m_-3616206000808803764gmail-pln"><br></span></code></div><div><code><span class="m_-3058721075556633563m_-3616206000808803764gmail-pln">I thought ill post this in public interest.</span></code></div><span class="m_-3058721075556633563HOEnZb"><font color="#888888"><div><br></div> <br clear="all"><div><div><div><div><div><div><br>-- <br><div class="m_-3058721075556633563m_-3616206000808803764gmail_signature"><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><span style="color:rgb(0,0,0)"><span style="background-color:rgb(255,255,255)"><span><b>Chirag Nagpal<br></b>
Graduate Student, Language Technologies Institute<br>
School of Computer Science<br>
Carnegie Mellon University<br></span></span></span></div><div><span style="color:rgb(0,0,0)"><span style="background-color:rgb(255,255,255)"><span><a href="http://cs.cmu.edu/%7Echiragn" target="_blank">cs.cmu.edu/~chiragn</a><br></span></span></span></div></div></div></div></div></div>
</div></div></div></div></div></div></font></span></div>
</div><br><br clear="all"><br>-- <br><div class="m_-3058721075556633563gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><span style="color:rgb(0,0,0)"><span style="background-color:rgb(255,255,255)"><span><b>Chirag Nagpal<br></b>
Graduate Student, Language Technologies Institute<br>
School of Computer Science<br>
Carnegie Mellon University<br></span></span></span></div><div><span style="color:rgb(0,0,0)"><span style="background-color:rgb(255,255,255)"><span><a href="http://cs.cmu.edu/~chiragn" target="_blank">cs.cmu.edu/~chiragn</a><br></span></span></span></div></div></div></div></div></div>
</div></div></div></div></div></div></div></div>