<div dir="ltr">Hi Predrag,<br><br>That's a great idea. <br><br>Following are the couple dataset/binaries we could share. Would request others to share other datasets.<div><br></div><div>1. CARLA binaries : /zfsauton2/home/hiteshar/CARLA_0.9.6<br>(These are currently being used by at least 6-8 people where each has their own copies)</div><div><br></div><div>2. Cityscapes: /zfsauton/project/public/deep_clustering/data/datasets/cityscapes<br>(Thanks to Vincent for sharing)<br><br>Thanks,<br>Hitesh</div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Wed, Mar 25, 2020 at 6:46 PM Predrag Punosevac <<a href="mailto:predragp@andrew.cmu.edu">predragp@andrew.cmu.edu</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">Hitesh Arora <<a href="mailto:hiteshar@andrew.cmu.edu" target="_blank">hiteshar@andrew.cmu.edu</a>> wrote:<br>
<br>
> Hi Autonians,<br>
> <br>
> Has anyone already downloaded the GTA5 and/or Cityscapes datasets onto the<br>
> Auton cluster, and willing to share. It would save a bit of time in<br>
> downloading/transfer. Thanks!<br>
<br>
Actually I have a better idea. Before we all went into hiding I fully<br>
provisioned the newest file server bought by Dr. Jeff Schneider late<br>
last year.  The server has for now only one ZFS pool due to the lack of<br>
HDDs but six storage HDDs which are installed are 12 TB each. Thus the<br>
ZFS pool I created has 48TB of useful space even before standard lz4<br>
compression ZFS uses. For the first time we even have dedicated  2 NVMe<br>
ZFS mirror slog for the pool.<br>
<br>
<a href="https://www.ixsystems.com/blog/zfs-zil-and-slog-demystified/" rel="noreferrer" target="_blank">https://www.ixsystems.com/blog/zfs-zil-and-slog-demystified/</a><br>
<br>
although that should only impact write speed. <br>
<br>
I already remote replicated /zfsauton/data and /zfsauton/project data<br>
sets onto the new file server but I am scared to pull the trigger and<br>
change anything in the current NFS setup before we come out of hiding.<br>
However, I think it would be a very good idea that we consolidate all<br>
standard third party datasets people use in the Lab in a new ZFS<br>
dataset/NFS share which will be accessible to all users across all<br>
computing nodes. That, in theory, should off load some of the traffic<br>
from other 2 NFS servers we use for home, data, and project directories.<br>
That, in theory, should also partially solve the fact that scratch<br>
directories are machine specific. Hopefully that would also help us use<br>
less storage space as we will solve duplication problem.<br>
<br>
What I need from users is the name of dataset you think we should share<br>
with everyone and its current location. <br>
<br>
Most Kind Regards,<br>
Predrag<br>
<br>
<br>
<br>
> <br>
> Regards,<br>
> Hitesh<br>
</blockquote></div>