wgetを並列に走らす

ダウンロード先がバラバラでかつ，それぞれのサーバが遠くのもので，ダウンロード速度が出ないようなときがある．

そんなときに便利な技．

まず，urls.txtに1行ずつダウンロード先のurlを書いておく．

そして，以下のコマンドを実行する．

xargs -P 20 -n 1 wget -nv < urls.txt

このコマンドで最大20個のwgetが並列に走る．

また，それぞれのwgetには引数が1つずつ渡される．

参考URL

http://blog.layer8.sh/ja/2011/12/16/wget%E3%81%A7%E4%B8%A6%E5%88%97%E3%83%80%E3%82%A6%E3%83%B3%E3%83%AD%E3%83%BC%E3%83%89/

--
My Emacs Files At GitHub