<div dir="ltr"><div>Reinstalled tensorflow on gpu8 and it appears to work fine now.  Running reinstalls on all GPU's now but it might take 30 minutes or so to finish.<br><br></div>Simon<br></div><div class="gmail_extra"><br><div class="gmail_quote">On Thu, Apr 26, 2018 at 8:20 AM, Matthew Barnes <span dir="ltr"><<a href="mailto:mbarnes1@andrew.cmu.edu" target="_blank">mbarnes1@andrew.cmu.edu</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">That's the system install of Tensorflow, not me. An admin would have to do that.</div><div class="HOEnZb"><div class="h5"><br><div class="gmail_quote"><div dir="ltr">On Thu, Apr 26, 2018 at 8:19 AM Predrag Punosevac <<a href="mailto:predragp@andrew.cmu.edu" target="_blank">predragp@andrew.cmu.edu</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Matthew Barnes <<a href="mailto:mbarnes1@andrew.cmu.edu" target="_blank">mbarnes1@andrew.cmu.edu</a>> wrote:<br>
<br>
> Things appear broken on at least some of the GPU machines. This worked<br>
> before last night.<br>
> <br>
<br>
You compiled TensorFlow against Python from the base. Please recompile<br>
and report. <br>
<br>
Predrag<br>
<br>
> mbarnes1@gpu3$ python<br>
> Python 2.7.5 (default, Apr 15 2018, 20:27:58)<br>
> [GCC 4.8.5 20150623 (Red Hat 4.8.5-28)] on linux2<br>
> Type "help", "copyright", "credits" or "license" for more information.<br>
> >>> import tensorflow as tf<br>
> RuntimeError: module compiled against API version 0xb but this version of<br>
> numpy is 0x7<br>
> RuntimeError: module compiled against API version 0xb but this version of<br>
> numpy is 0x7<br>
> Traceback (most recent call last):<br>
>   File "<stdin>", line 1, in <module><br>
>   File "/usr/lib/python2.7/site-<wbr>packages/tensorflow/__init__.<wbr>py", line 24,<br>
> in <module><br>
>     from tensorflow.python import *<br>
>   File "/usr/lib/python2.7/site-<wbr>packages/tensorflow/python/__<wbr>init__.py",<br>
> line 63, in <module><br>
>     from tensorflow.python.framework.<wbr>framework_lib import *<br>
>   File<br>
> "/usr/lib/python2.7/site-<wbr>packages/tensorflow/python/<wbr>framework/framework_lib.py",<br>
> line 81, in <module><br>
>     from tensorflow.python.framework.<wbr>sparse_tensor import SparseTensor<br>
>   File<br>
> "/usr/lib/python2.7/site-<wbr>packages/tensorflow/python/<wbr>framework/sparse_tensor.py",<br>
> line 25, in <module><br>
>     from tensorflow.python.framework import tensor_util<br>
>   File<br>
> "/usr/lib/python2.7/site-<wbr>packages/tensorflow/python/<wbr>framework/tensor_util.py",<br>
> line 33, in <module><br>
>     from tensorflow.python.framework import fast_tensor_util<br>
>   File "__init__.pxd", line 163, in init<br>
> tensorflow.python.framework.<wbr>fast_tensor_util<br>
> ValueError: numpy.dtype has the wrong size, try recompiling. Expected 88,<br>
> got 96<br>
> <br>
> On Wed, Apr 25, 2018 at 10:49 PM Predrag Punosevac <<a href="mailto:predragp@andrew.cmu.edu" target="_blank">predragp@andrew.cmu.edu</a>><br>
> wrote:<br>
> <br>
> > Dear Autonians,<br>
> ><br>
> > On April 10, Red Hat Inc. has announced the release of Red Hat<br>
> > Enterprise Linux (RHEL) 7.5, the latest update of the company's<br>
> > enterprise-class Linux distribution.<br>
> ><br>
> > Thanks to the hard work of my friend Josko Plazonic and his team at<br>
> > Princeton University Springdale Linux a free, enterprise-class,<br>
> > community-supported computing platform functionally compatible with its<br>
> > upstream source, Red Hat Enterprise Linux (RHEL) has also been updated<br>
> > last night to the version 7.5.<br>
> ><br>
> > I am happy to announce that as of this moment all Auton Lab computing<br>
> > nodes have been updated to the version 7.5 with exception of few<br>
> > obsolete machines running Springdale 6.9. Note that I didn't update CUDA<br>
> > and NVidia drivers on GPU[1-9] as that would require reboots and perhaps<br>
> > would break deep learning software many of you are using. I also didn't<br>
> > reboot non GPU computing nodes in order to avoid disruption, thus nodes<br>
> > are still running the same kernels but the very latest userland.<br>
> ><br>
> > Virtual hosts running Springdale Linux are also upgraded as well as most<br>
> > desktops. I upgrading few remaining desktops right now.<br>
> ><br>
> > Please test if the things work for you and report any strange behavior.<br>
> > Also Ben and Jarod who have GPU cards in their desktops should be extra<br>
> > vigilant. Please let me know if your desktops look broken. I will be<br>
> > happy to upgrade your NVidia drivers and CUDA if the things appear<br>
> > broken.<br>
> ><br>
> > Best,<br>
> > Predrag<br>
> ><br>
</blockquote></div>
</div></div></blockquote></div><br><br clear="all"><br>-- <br><div class="gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><span><font color="#888888">
Simon Heath, Research Programmer and Analyst<br>
Robotics Institute - Auton Lab<br>
Carnegie Mellon University<br>
<a href="mailto:sheath@andrew.cmu.edu" target="_blank">sheath@andrew.cmu.edu</a></font></span></div></div>
</div>