
<html><head><meta http-equiv="Content-Type" content="text/html; charset=us-ascii"></head><body style="word-wrap: break-word; -webkit-nbsp-mode: space; line-break: after-white-space;" class="">And as Vincent rightfully pointed out to me, for datasets that are too large for the scratch directory please contact Predrag. He will download the dataset for you and mount it somewhere. <div class=""><br class=""></div><div class="">If you want to check home much space is available, you can run</div><div class="">$ df -h .<br class=""><div class="">In the directory you want to download the dataset into. <br class=""><div class="">

<div style="word-wrap: break-word; -webkit-nbsp-mode: space; -webkit-line-break: after-white-space;" class=""><div style="color: rgb(0, 0, 0); font-family: Helvetica; font-size: 12px; font-style: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; word-spacing: 0px; -webkit-text-stroke-width: 0px;"><br class=""></div><div style="color: rgb(0, 0, 0); font-family: Helvetica; font-size: 12px; font-style: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; word-spacing: 0px; -webkit-text-stroke-width: 0px;"><br class=""></div></div></div><div><blockquote type="cite" class=""><div class="">On Sep 25, 2019, at 7:29 AM, Benedikt Boecking <<a href="mailto:boecking@andrew.cmu.edu" class="">boecking@andrew.cmu.edu</a>> wrote:</div><br class="Apple-interchange-newline"><div class=""><div dir="auto" class="">You want to make sure that you download large datasets onto a server's local scratch directory: /home/scratch/anirudds/ <div dir="auto" class=""><br class=""></div><div dir="auto" class="">Downloading a large dataset onto the network filesystem (zfs) where your home directory resides is slow and slows the system down for all other users as well. </div></div><br class=""><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Wed, Sep 25, 2019, 12:11 AM Aniruddh Shetty <<a href="mailto:anirudds@andrew.cmu.edu" class="">anirudds@andrew.cmu.edu</a>> wrote:<br class=""></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr" class="">What is the fastest way to get training data on the gpu server? <br class="">I wanted to install kitti dataset. I tried doing wget directly on the remote server (which was very slow). I tried downloading on local machine and then scp to the remote machine (also very slow). Took me around 10 hours to do it<div class=""><br class=""></div><div class="">Is nvcc not installed on the gpu14 server? The code I was using had some custom gpu kernel codes written which needed cuda toolkit. I have installed it in virtual env for now.</div></div>

</blockquote></div>

</div></blockquote></div><br class=""></div></div></body></html>