<div dir="auto">You want to make sure that you download large datasets onto a server's local scratch directory: /home/scratch/anirudds/ <div dir="auto"><br></div><div dir="auto">Downloading a large dataset onto the network filesystem (zfs) where your home directory resides is slow and slows the system down for all other users as well. </div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Wed, Sep 25, 2019, 12:11 AM Aniruddh Shetty <<a href="mailto:anirudds@andrew.cmu.edu">anirudds@andrew.cmu.edu</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">What is the fastest way to get training data on the gpu server? <br>I wanted to install kitti dataset. I tried doing wget directly on the remote server (which was very slow). I tried downloading on local machine and then scp to the remote machine (also very slow). Took me around 10 hours to do it<div><br></div><div>Is nvcc not installed on the gpu14 server? The code I was using had some custom gpu kernel codes written which needed cuda toolkit. I have installed it in virtual env for now.</div></div>
</blockquote></div>