Open2
Scrapy 覚書
えんぶんdocument
en
ja
えんぶんScrapyスパイダーがURLを開いてみているものと実際にWebブラウザからURLを開いて我々が見ているものは若干異なる。
scrapy view <url>でスパイダーが見ているものをそのまま見ることができる。
ブラウザのDevToolからXpath求めたりするならこっちからやる方が正確。
本当は実行するとブラウザが起動するが、
wsl2のUbuntuから実行したら「htmlを開く手段がない」と言われたのでWindowsのパスに直してブラウザで開いて表示した。
$ scrapy view https://example.com
...
xdg-open: no method available for opening 'file:///tmp/tmpexyzmqgk.html'
# windowsのパスに変換
$ wslpath -w /tmp/tmpexyzmqgk.html
\\wsl.localhost\Ubuntu-22.04\tmp\tmpexyzmqgk.html