はじめに
2024年10月のVS CodeのアップデートでWeb Search for Copilotという拡張機能が紹介されていたので、試してみました。
動作環境
- Windows 11
- VS Code v1.95.0
- GitHub Copilot v1.243.0
- GitHub Copilot Chat v0.22.0
- Web Search for Copilot v0.1.2024103001 (pre-release)
特徴
GitHub Copilot ChatでWeb検索を行う方法としては、Bing検索エンジンを利用する方法がすでに提供されています。
GitHub skillsによるWeb検索の説明（公式ドキュメントより引用）
また、最近PerplexityAIも使用できるようになったようです。
これらに対して今回使用したWeb Search for Copilotの場合は、Tavilyが利用可能になります（Bingも利用可能です）。
導入
まずはじめに、Web Search for Copilotをインストールします。2024/10/31現在、プレリリースバージョンのみ存在しているようです。
次に、APIキーを用意します。TavilyかBingのAPIキーが必要です。
今回使用したTavilyの場合、APIキーの作成は簡単で、アカウントを作るとすぐにAPIキーが利用できるようになります。
API利用は月1000回まで無料です。
検証
新規プロジェクトの作成
公式ドキュメントによると、下記のような形式でCopilot Chatにサンプルプロジェクトの作成を依頼することができるようです。
@workspace /new #websearch create a new web app written in Python using the most popular framework
日本語で試してみました。
なぜか2023年の情報で検索されましたが、どんな内容でWeb検索しているのか、どのページを参照したのかを示してくれるのは助かります。
しかしながら、生成されたプロジェクトを見てみると、ほとんどのファイルに「pip install Flask」とだけ書かれており、うまくファイルを生成できているとは言い難い状況でした[1]。
質問
単純な質問に対しては、Web検索の結果を踏まえて適切に応答してくれました。
Web検索の有無で結果が変わるかも検証してみました。上が通常の質問、下がWeb検索ありの質問です。Web検索ありだと、最新の情報を教えてもらうことができました。
また、「XXの公式ドキュメントを参照して答えてください」と指示してみましたが、最新ではないドキュメントも参照されることがありました。
感想
今回試した範囲では、単純な質問への回答には一定の精度があるという結果でした。ただし現在はプレリリースバージョンのため、今後の精度が改善されていくかもしれません。
また、そもそもCopilot ChatでWeb検索が便利な場面ってなんだろうか、と考えさせられました。
GitHub skillsによるWeb検索の説明に、下記のような記述がありますが、
This skill is useful for teaching Copilot about recent events, new developments, trends, technologies, or extremely specific, detailed, or niche subjects.
個人的には、トレンドの技術などはWebブラウザで検索するほうが便利なのではないかと感じるので、比較的最近の出来事を知りたい場合に限って、役立つ可能性があると思いました。
例えばデフォルトのGPT-4oモデルを使用する場合、2023年10月までのデータで学習されているので[2]、それより後にリリースされたものについてはWeb検索を併用して質問してみるのは選択肢になりそうです。
-
#websearchを除外して実行すると、明らかにおかしいファイルが生成されることはありませんでした ↩︎
Discussion