2013年6月18日火曜日

wgetを並列に走らす


ダウンロード先がバラバラでかつ,それぞれのサーバが遠くのもので,ダウンロード速度が出ないようなときがある.

そんなときに便利な技.




まず,urls.txtに1行ずつダウンロード先のurlを書いておく.

そして,以下のコマンドを実行する.




xargs -P 20 -n 1 wget -nv < urls.txt


このコマンドで最大20個のwgetが並列に走る.

また,それぞれのwgetには引数が1つずつ渡される.







--
My Emacs Files At GitHub