【Dify】webスクレイピングプラグイン Bright Dataを使ってみる
公式リリース
📢 Dify × Bright Data 新時代のWebスクレイピング！
DifyとBright Dataの連携が新たに可能になり、Webからのデータ収集・スクレイピング作業を大きく効率化できます。市場調査や競合他社の動向監視、そして新規顧客の発見といった重要なタスクを、50を超えるプラットフォームで自動化する力をDifyアプリケーションに追加できます。
2つのシンプルな連携方法：
1）すぐに使えるプラグイン：Difyマーケットプレイスから導入するだけ。詳細はこちら ↓ >https://marketplace.dify.ai/plugins/idanvilenski/brightdata
2）高度な自動化ならMCP：複雑な操作やリアルタイムのスクレイピングには、Bright DataのMCP連携が最適です。
マーケティングの可能性を広げる新機能、ぜひお試しください。
https://docs.brightdata.com/integrations/dify
機能
Bright Dataのエンタープライズグレードのインフラストラクチャを活用した、包括的なWebスクレイピングおよびデータ抽出プラグイン。このプラグインは、Difyプラットフォーム向けにアンチボット検出機能を備えた高度なWebスクレイピング機能を提供します。
✨新機能！スマートデータ抽出ツール
最新の追加機能により、お客様のニーズに最適な抽出方法が自動的に決定されます。
🧠 インテリジェントな自動検出：欲しいものを説明するか、URLを入力するだけです
🎯 20 以上のデータソース：Amazon、LinkedIn、Instagram、YouTube、TikTok、>Crunchbase など！
⚡ 1つのツールですべてに対応：複数の抽出ツールを選択する必要はありません
初期設定
- プラグインインストール
a. https://marketplace.dify.ai/plugins/idanvilenski/brightdata - API発行
a. https://brightdata.com/cp/setting/users - DifyでのAPI登録
ノード種別
■① スマートデータ抽出ツール
リクエスト（必須）: 抽出したいデータを記述してください
URL（オプション）：抽出する特定のURL
追加パラメータ（オプション）：以下のような追加設定を含むJSON{"pages_to_search": "3", >"num_of_reviews": "50"}
■② ウェブスクレーパー
URL（必須）: スクレイピングするウェブページ
出力形式: MarkdownまたはHTML
■③ 検索エンジン
クエリ（必須）: 検索用語
エンジン: Google (デフォルト)、Bing、または Yandex
スマートデータ抽出サンプル
例1: Amazon製品分析
Request: "Get Amazon product details including price and reviews"
URL: "https://amazon.com/dp/B08N5WRWNW"
→ Automatically uses Amazon extractor
例2: LinkedInプロフィール調査
Request: "Extract LinkedIn professional profile information"
URL: "https://linkedin.com/in/elonmusk"
→ Automatically uses LinkedIn extractor
例3: Instagramアナリティクス
Request: "Get Instagram profile statistics and engagement"
URL: "https://instagram.com/instagram"
→ Automatically uses Instagram extractor
例4: ビジネスインテリジェンス
Request: "Find company funding and investment data"
URL: "https://crunchbase.com/organization/openai"
→ Automatically uses Crunchbase extractor
メモ
-
422エラーで使えず…
- アカウントのエラー問題かも
- アカウントのエラー問題かも
-
スクレイパー以外にもデータマーケットプレイスが存在
Discussion