ブラウザでブラウザを操作してスクレイピングを行う

他の投稿はこちら

• Webアプリの限界を超える方法
• Webアプリの限界を超える方法(セキュリティ編)
• ブラウザで(WebUSBもActiveXも使わずに)FeliCaリーダーを読み込む
• Webブラウザでシリアル通信を行う

タイトルを読んで「何言ってんだコイツ」と思われた方も居るかもしれません。
要するに、ブラウザからブラウザ（というかWebBrowserコントロール）を立ち上げて、スクレイピングをする方法を紹介します。

概要

• WebBrowserコントロールを組み込んだネイティブアプリを作成する
• ネイティブアプリ上でWebSocketサーバーを立ち上げる
• ブラウザからネイティブアプリのWebSocketサーバーにローカルホスト接続する
• ネイティブアプリでスクレイピングを行い、WebSocketサーバーを通して、情報をブラウザに送信する。

構成は、前回「ブラウザで(WebUSBもActiveXも使わずに)FeliCaリーダーを読み込む」とほぼ同じで
カードリーダー部分をWebBrowserコントロールに挿げ替えただけです。

デモ

ブラウザで入力したキーワードを元に、ググった結果を表示しています。

まとめ

正直、ブラウザからブラウザを動かして何が嬉しいの？と思われるかもしれません。
確かに今回のように、単純な用途でスクレイピングをしたいだけなら、curlなどを使用して取得した文字列を解析すれば十分ですが

• APIが用意されていないBtoBサイトと自社サイトを連携させたい
• サーバー側の負荷軽減のため、クライアント側でスクレイピングさせたい
• WebベースでRPAをやりたい

といった要求がある場合、今回紹介した技術が役に立つと思います。

また、今回はC#＆WebBrowserコントロールを使用しましたが
実際はSeleniumでもヘッドレスブラウザでも、自由に実装して頂けます。

サンプル＆ソース

サンプル＆ソースはこちら