ブラウザの操作の自動化のニーズが徐々に増えていく中で、Playwright Workspace と連携してAzure AI Foundry Agent Service における最新のアクションツールとして、ブラウザー自動化ツール（プレビュー） が発表されました。

概要

API および SDK を通じて利用可能で、自然言語プロンプトを使って以下のような現実的なブラウザー操作を自動化できます。

検索やページナビゲーション
フォーム入力
予約・スケジューリング

基盤には Playwright Workspaces が採用されており、クラウド上で隔離された安全なブラウザー自動化環境を提供します。
これにより、実際のユーザー操作を模倣し、マルチターンの会話でタスクを完了できます。

主な利点

自然言語から自動化へ
目的を文章で説明するだけで、ブラウザーベースのワークフローを実行可能。
現実的な Web インタラクション
人間の操作に近い方法で、複雑なフォーム入力やマルチステップ処理を自動化。
隔離された実行環境
Azure サブスクリプション内の Playwright Workspaces 上でサンドボックス実行。
仮想マシンやブラウザーの手動管理は不要。
マルチターン会話
途中でリクエストを修正・追加しながらタスクを進行可能。
最新かつ信頼性の高い自動化
「ダウンパース」手法により、Web ページの構造（DOM やアクセシビリティツリー）を解析。
UI の見た目や座標ではなく、要素の役割や aria-label を理解して操作対象を特定。
例:
「送信」ボタンを押す際、role="button" と "送信" のテキストを解析して判断。
複雑なフォームでもフィールド名や役割から入力欄を特定。
幅広いユースケース

予約・スケジューリング: クラスやレストラン予約、アポイントメント設定を自動化。
商品検索・レビュー要約: eコマースの商品検索・レビュー収集と要約。
Web フォーム提出: 書類提出やプロフィール更新を自動化。
カスタマーサポート: チケット状況やアカウント情報を迅速取得。

動作の流れ

ユーザーが自然言語でリクエスト
- 例: 「この URL xxxx から今週利用可能なヨガクラスをすべて表示して」
セッションの準備
- Playwright Workspaces に接続し、隔離ブラウザーセッションを開始。
ページ解析と推論
- DOM 構造を解析し、必要な操作（クリック、入力、移動）を判断。
アクション実行
- サンドボックス環境で操作し、ステップごとに結果を反映。
マルチターン処理
- 追加指示や修正を反映しながら完了まで実行。

セキュリティと責任ある利用

ブラウザー自動化は強力ですが、重大なセキュリティリスクも伴います。
AI の判断ミスや悪意あるページによって意図しない操作が行われる可能性があります。
transparency-note

はじめ方

前提条件

Azure サブスクリプション（Playwright Workspaces と Azure AI Foundry の作成権限）
Python 3.8+ または他の対応 SDK

セットアップ手順

1. Playwright Workspace の準備

リソース作成
アクセストークン発行

※Keyは一度しか表示されないので忘れずにコピーを
概要欄の Browser endpoint 確認
プロジェクト ID に「共同作成者」またはカスタムロール付与

2. AI Foundryへの接続

Azure AI Foundry ポータルで AI プロジェクトを開く
管理センター → Connected resources から新規接続作成: サーバーレスモデルを選択
ターゲット URI に Browser endpoint、キーにアクセストークン設定

3. エージェント作成

上記接続完了すると以下のコードで実行可能
シナリオは Forms に指定した回答項目を自動入力をして送信をしてもらうこと。
Forms の質問項目

import os

from azure.identity import DefaultAzureCredential
from azure.ai.agents import AgentsClient
from azure.ai.agents.models import MessageRole
from azure.ai.projects import AIProjectClient

# Create a project client from a project endpoint, copied from your AI Foundry project.
# Example: project_endpoint = "https://<your-ai-services-resource-name>.services.ai.azure.com/api/projects/<your-project-name>"

project_endpoint = "YOUT_PROJECT_ENDPOINT"

project_client = AIProjectClient(
    endpoint=project_endpoint,
    credential=DefaultAzureCredential()
)

playwright_connection = project_client.connections.get(
    name="YOUR_PLAYWRIGHT_CONNECTION_NAME"
)

print(playwright_connection.id)

with project_client:
    agent = project_client.agents.create_agent(
        model="gpt-4.1",
        name="my-playwright-agent",
        instructions="use the tool to respond",
        tools=[{
            "type": "browser_automation",
            "browser_automation": {
                "connection": {
                    "id": playwright_connection.id,
                }
            }
        }],
    )

    print(f"Created agent, ID: {agent.id}")

    thread = project_client.agents.threads.create()
    print(f"Created thread and run, ID: {thread.id}")

    # Create message to thread
    message = project_client.agents.messages.create(
        thread_id=thread.id,
        role="user",
        content=""""
        https://forms.office.com/r/g2KXYtze1u のフォームに以下記入して「送信」して
        名前、金光
        住所、品川グランドセントラルタワー
        属性、社会人
        リージョン、東日本
        モデル、GPT-5
        """
    )
    print(f"Created message: {message['id']}")

    # Create and process an Agent run in thread with tools
    run = project_client.agents.runs.create_and_process(
        thread_id=thread.id,
        agent_id=agent.id,
    )

    print(f"Run created, ID: {run.id}")
    print(f"Run finished with status: {run.status}")

    if run.status == "failed":
        print(f"Run failed: {run.last_error}")

    run_steps = project_client.agents.run_steps.list(thread_id=thread.id, run_id=run.id)

    for step in run_steps:
        print(step)
        print(f"Step {step['id']} status: {step['status']}")

        # Check if there are tool calls in the step details
        step_details = step.get("step_details", {})
        tool_calls = step_details.get("tool_calls", [])

        if tool_calls:
            print("  Tool calls:")
            for call in tool_calls:
                print(f"    Tool Call ID: {call.get('id')}")
                print(f"    Type: {call.get('type')}")

                function_details = call.get("function", {})
                if function_details:
                    print(f"    Function name: {function_details.get('name')}")

        print()  # add an extra newline between steps

    #Delete the Agent when done
    #project_client.agents.delete_agent(agent.id)
    #print("Deleted agent")

    # Fetch and log all messages
    response_message = project_client.agents.messages.get_last_message_by_role(
        thread_id=thread.id,
        role=MessageRole.AGENT
    )

    if response_message:
        for text_message in response_message.text_messages:
            print(f"Agent response: {text_message.text.value}")
        for annotation in response_message.url_citation_annotations:
            print(f"URL Citation: [{annotation.url_citation.title}]({annotation.url_citation.url})")

# </create run>

実行結果は、すべて間違いなくFormsに指示通り記入してくれていて、送信完了していました。特にラジオボタンなど小さい選択項目も、精度高く正しく選択してくれていました。
Forms の回答

実行結果

一部省略
Step step_XXXXXXXXX status: completed
  Tool calls:
    Tool Call ID: call_XXXXXXXXXX
    Type: browser_automation

Agent response: 指定された内容でフォームに記入し、「送信」まで完了しました。

- 名前: 金光
- 住所: 品川グランドセントラルタワー
- 属性: 社会人
- リージョン: 東日本
- モデル: GPT-5

送信完了の確認画面も表示されました。ご安心ください。

今後、より高い精度が求められる場面では、この Browser Automation Tool も有力な選択肢の一つになると思います。

引用

補足: Playwright Workspaces とは？

概要

Playwright Workspaces は、Playwright を基盤にした完全マネージドの E2E テストサービス（プレビュー中）。
複数ブラウザー・OS 上で自動テストを行い、インフラ管理不要。

特徴

高速化
- 並列リモートブラウザーでの分散実行により完了時間を短縮。
複数 OS・ブラウザー対応
- Windows, Linux, Chrome/Android, Safari/iOS など。
エンドポイントテスト
- 公開・非公開アプリ、localhost 環境もテスト可能。
Playwright サポート
- 既存テストコードを変更せず統合可能。

仕組み

異なる OS 上でクラウドホストブラウザーを起動。
テストコードはローカルまたは CI 上で実行し、クラウドブラウザーを遠隔操作。
結果やトレースファイルはローカル保存。

セキュリティ

リージョン外に顧客データを保存・処理しない。
保存データは Microsoft 管理キーで暗号化。

Discussion