Open1
Linux:wgetで再帰的にクローリング
-r:再帰的に -A:拡張子を指定 -l:リンクの階層を指定
wget -r -A jpg,png,gif,bmp -l 3 http://example.com/
-m:ミラーリング
wget -m http://example.com/
--spideer:再帰的にクローリングするけれど、ダウンロードはしない
wget --spider http://example.com/
wget -r -A jpg,png,gif,bmp -l 3 http://example.com/
wget -m http://example.com/
wget --spider http://example.com/