Open1

Linux:wgetで再帰的にクローリング

Tomoaki NagaharaTomoaki Nagahara

-r:再帰的に -A:拡張子を指定 -l:リンクの階層を指定

wget -r -A jpg,png,gif,bmp -l 3 http://example.com/

-m:ミラーリング

wget -m http://example.com/

--spideer:再帰的にクローリングするけれど、ダウンロードはしない

wget --spider http://example.com/