✨

Copilot StudioのComputer Use（プレビュー）を試してみた

に公開
Microsoft
Power Platform
Copilot Studio
tech

概要

Computer Use[1]機能は、Microsoft Copilot Studio[2]に追加された革新的な機能です。この機能により、AIが直接コンピューターの画面を認識し、人間のようにマウスやキーボード操作を実行することで、APIが提供されていないレガシーシステムも含め、完全自動化を実現します。

初期設定と前提条件

必要なライセンス

Computer Use機能を利用するには、以下のいずれかのライセンスが必要です：
・Copilot Studio メッセージパックサブスクリプションライセンス[5]（もしくは従量課金メーターや試用版）
https://learn.microsoft.com/ja-jp/microsoft-copilot-studio/fundamentals-get-started
https://www.microsoft.com/ja-jp/microsoft-365-copilot/pricing/copilot-studio

環境の準備

米国リージョンのPower Platform環境、または開発者環境であること。

Computer Useの設定方法

  1. Copilot Studioへアクセスし、左メニューの「エージェント[6]」をクリック。
    https://copilotstudio.microsoft.com/
  1. 新しいエージェントを作成。
  2. 概要でオーケストレーション[7]をオンに設定。
  1. エージェント上でのComputer Use機能の有効化。
    エージェントの概要＞ツール＞「ツールを追加する」の順にクリックし、「新しいツール」をクリック。

  2. コンピューター操作（プレビュー）をクリック。
  1. 新しいコンピューター操作（プレビュー）にてコンピューター操作指示プロンプトを入力するか、プロンプトテンプレートを選択する。

    ※今回はプロンプトテンプレートでComputer Useの操作を試してみる。
  2. テンプレートからデータ抽出をクリック。
    既定のプロンプトが自動入力されるので、「追加と構成」をクリック。
  3. 手順右上のComputer Use のテストが表示されるので、クリック。
  4. 無事にComputer UseでホストされたPCに接続され、プロンプトで指示されたサイトにブラウザでアクセスし、データ抽出ができた。





    ただ、使用時に何度かエラーが発生し、操作対象のPCが起動できなかった。
    ここが、まだプレビューであるポイントと認識しました。
    エラー発生時は、再度時間をおいてテストをしてみてください。

    https://learn.microsoft.com/ja-jp/microsoft-copilot-studio/computer-use#hosted-browser-limitations

まとめ

Copilot StudioのComputer Use機能は、Power Automate Desktopなど従来のRPAツールの進化版ともいえる存在です。AIエージェントから直接利用できる点が大きな特徴であり、次世代の自動化ソリューションとして今後も注視しておくべき、機能だと考えています。
特に以下の点で大きな価値を提供します：
-自律型エージェントとレガシーシステムの統合: APIを持たないシステムであっても、AIエージェントが直接操作可能になります。
-メンテナンスコストの削減: 従来のように事前定義したRPA操作に依存せず、AIがUIの変化に柔軟に適応して実行します。
-Power Platformとの統合: 企業全体の自動化基盤として、既存のPower Platform資産と組み合わせて活用できます。
-AIによる柔軟な処理: 自然言語の指示に従い、状況に応じて動的に判断・実行できます。
もっとも、処理速度やコストの観点では、API連携など従来の手法が有利なケースもあります。そのため、シナリオに応じて適切に使い分けることが重要です。
Computer Use機能を活用することで、これまで自動化が困難だった業務プロセスも含め、真のエンドツーエンド自動化を実現できます。
気になる方はぜひ試してみてください。

参考リソース

https://learn.microsoft.com/ja-jp/microsoft-copilot-studio/computer-use

脚注

  1. AIがユーザーの指示に従って実際にPC操作（アプリやブラウザの起動、クリック、入力など）を自動で行う機能。 ↩︎

  2. Copilot Studioとは、業務シナリオに合わせて独自のAIエージェントやCopilotを設計・展開できるMicrosoftの開発環境です。
    従来のRPA[3]ツールでは、事前に定義されたセレクターやXPath[4]を使用して画面要素を特定していましたが、Computer Use機能では、AIが画面の内容を理解し、動的に操作を判断・実行します。これにより、UIの変更に対する耐性が大幅に向上し、メンテナンスコストの削減が期待できます。 ↩︎

  3. RPA（Robotic Process Automation）とは、人間が行う定型的なPC作業をソフトウェアロボットで自動化する仕組みです。 ↩︎

  4. XPath（XML Path Language）とは、画面上の特定のUI要素を指定するための「住所」のような記述方法です。
    本記事では、Computer Use（プレビュー）機能を試してみたので、感想を紹介します。 ↩︎

  5. Copilot Studioのメッセージパックサブスクリプションライセンスとは、AIエージェントとの対話に必要なメッセージ数をまとめて購入できる買い切り型の追加ライセンスを指します。 ↩︎

  6. Copilot Studioにおけるエージェントとは、自然言語での指示を理解し、知識・ツール・フローを活用して業務処理や対話を自律的に実行するAIアシスタントです。 ↩︎

  7. Copilot Studioのオーケストレーションとは、複数の知識ソース・フロー・外部ツールを組み合わせ、ユーザーの自然言語の指示に応じて最適な処理を自動的に選択・実行する仕組みです。 ↩︎

Discussion