<div dir="ltr">Hi Viraj<div><br></div><div>The easiest option is to install anaconda on your home mounted on the NFS, instead of separately installing conda for each cluster. (since each cluster node is x64 you can expect conda compiled on one of the machines to run on the other machines too. all the numpy math operations are taken care of MKL/BLAS and so as long is MKL and BLAS in each machine are correctly configured you will not experience a drop in performance) </div><div><br></div><div>Steps: </div><div><br></div><div>$wget <a href="https://repo.anaconda.com/archive/Anaconda3-2020.07-Linux-x86_64.sh">https://repo.anaconda.com/archive/Anaconda3-2020.07-Linux-x86_64.sh</a><br></div><div>and then run </div><div>$bash <a href="https://repo.anaconda.com/archive/Anaconda3-2020.07-Linux-x86_64.sh">https://repo.anaconda.com/archive/Anaconda3-2020.07-Linux-x86_64.sh</a></div><div><br></div><div>Make sure after the installation is complete you export the environment variable that points the PYTHONPATH to the conda directory. (The installer will do this automatically in case it doesnt work you can export it in your bashrc)</div><div><br></div><div>Chirag</div><div><br></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Tue, Aug 18, 2020 at 10:20 PM Viraj Mehta <<a href="mailto:virajm@andrew.cmu.edu">virajm@andrew.cmu.edu</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div style="overflow-wrap: break-word;">Hi Chirag,<div><br></div><div>Where do you install your own Conda environment? Scratch? Any other tips on getting that done?</div><div><br></div><div>Thanks,</div><div>Viraj<br><div><br><blockquote type="cite"><div>On Aug 18, 2020, at 9:19 PM, Chirag Nagpal <<a href="mailto:chiragn@cs.cmu.edu" target="_blank">chiragn@cs.cmu.edu</a>> wrote:</div><br><div><div dir="ltr">FWIW  my recommendation is to set up your own conda environment and use the ipython version distributed with it. this way you can easily upgrade/modify your own python version without having to depend on the clusterwide distro<br></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Tue, Aug 18, 2020 at 7:23 PM Predrag Punosevac <<a href="mailto:predragp@andrew.cmu.edu" target="_blank">predragp@andrew.cmu.edu</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div dir="ltr">I looked a bit more carefully. It could be an upstream bug. It wouldn't be the first time<div><br></div><div><a href="https://github.com/ipython/ipython/issues/11678" target="_blank">https://github.com/ipython/ipython/issues/11678</a><br></div><div><br></div><div>You don't need ipython to run Python code. You could work and debug your code on your local machine and just run production code on the server. A typical python code is just a script starting with a shebang following with a path to the binaries. I fail to see how ipython could be useful for that. It is surely useful for the interactive work. </div><div><br></div><div>Predrag</div></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Tue, Aug 18, 2020 at 5:45 PM Viraj Mehta <<a href="mailto:virajm@andrew.cmu.edu" target="_blank">virajm@andrew.cmu.edu</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div>Tried this with 3.7 and 3.8 and it still hangs. Also if it’s a good clue, it doesn’t stop even if I send SIGINT or SIGQUIT. Not really sure what’s going on here.<br><div><br><blockquote type="cite"><div>On Aug 18, 2020, at 4:39 PM, Viraj Mehta <<a href="mailto:virajm@andrew.cmu.edu" target="_blank">virajm@andrew.cmu.edu</a>> wrote:</div><br><div><div>Yeah, I’ll give it a shot. Thanks!<br><div><br><blockquote type="cite"><div>On Aug 18, 2020, at 4:38 PM, Predrag Punosevac <<a href="mailto:predragp@andrew.cmu.edu" target="_blank">predragp@andrew.cmu.edu</a>> wrote:</div><br><div><div dir="ltr"><div>I just upgraded all /opt/conda-py37 and /opt/conda-py38 packages on both GPU9 and GPU11. Could you please try again? Could you also try with py38 which is now recommended and report back. If this works I will upgrade packages across all servers. This could be potentially remotely related to the fact that Ifegenia could not build TensorFlow. Another thought is that the ipython SQLite database is corrupted. <br></div><div><br></div><div>Best,</div><div>Predag</div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Tue, Aug 18, 2020 at 4:34 PM Viraj Mehta <<a href="mailto:virajm@andrew.cmu.edu" target="_blank">virajm@andrew.cmu.edu</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">Hi Predrag,<br>
<br>
Hope you’re doing well. I’ve been running into an issue the last couple days on the Auton cluster that is blocking my work on code that used to work and was hoping to get your thoughts. I have tried to distill this down to a small but replicable issue, as seen in the attachment, which I have seen hang on the ipython call on GPU9 and GPU11 so far. Do you know why this might be? Thanks.<br>
<br>
Best,<br>
Viraj</blockquote></div>
</div></blockquote></div><br></div></div></blockquote></div><br></div></blockquote></div>
</blockquote></div><br clear="all"><div><br></div>-- <br><div dir="ltr"><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><span><span style="background-color:rgb(255,255,255)"><span><b>Chirag Nagpal<br></b>
PhD Student, Auton Lab<br>
School of Computer Science<br>
Carnegie Mellon University<br></span></span></span></div><div><span><span style="background-color:rgb(255,255,255)"><span><a href="http://cs.cmu.edu/~chiragn" target="_blank">cs.cmu.edu/~chiragn</a><br></span></span></span></div></div></div></div></div></div>
</div></blockquote></div><br></div></div></blockquote></div><br clear="all"><div><br></div>-- <br><div dir="ltr" class="gmail_signature"><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><span style="color:rgb(0,0,0)"><span style="background-color:rgb(255,255,255)"><span><b>Chirag Nagpal<br></b>
PhD Student, Auton Lab<br>
School of Computer Science<br>
Carnegie Mellon University<br></span></span></span></div><div><span style="color:rgb(0,0,0)"><span style="background-color:rgb(255,255,255)"><span><a href="http://cs.cmu.edu/~chiragn" target="_blank">cs.cmu.edu/~chiragn</a><br></span></span></span></div></div></div></div></div></div>