「Amazon Bedrock AgentCore」を試す ④Built-in Tools: Browser

git clone https://github.com/awslabs/amazon-bedrock-agentcore-samples && cd amazon-bedrock-agentcore-samples

uv init -p 3.12

uv add -r requirements.txt
uv add pip

uv run jupyter-lab --ip="0.0.0.0" --NotebookApp.token="" --allow-root

01-tutorials/05-AgentCore-tools/02-Agent-Core-browser-tool/02-browser-with-browserUse/

!pip install -r requirements.txt

from bedrock_agentcore.tools.browser_client import BrowserClient
from browser_use import Agent
from browser_use.browser.session import BrowserSession
from browser_use.browser import BrowserProfile
from langchain_aws import ChatBedrockConverse
from rich.console import Console
from contextlib import suppress
import asyncio

console = Console()

from boto3.session import Session

# 自分はデフォルトプロファイルだとap-northeast-1になるため、us-east-1を指定している。
boto_session = Session(region_name='us-east-1')
region = boto_session.region_name

client = BrowserClient(region)
client.start()

# WebSocket URLとヘッダを抽出
ws_url, headers = client.generate_ws_headers()

INFO     [botocore.credentials] Found credentials in shared credentials file: ~/.aws/credentials
INFO     [bedrock_agentcore.tools.browser_client] Starting browser session...
INFO     [bedrock_agentcore.tools.browser_client] Generating websocket headers...
INFO     [botocore.credentials] Found credentials in shared credentials file: ~/.aws/credentials

async def run_browser_task(browser_session: BrowserSession, bedrock_chat: ChatBedrockConverse, task: str) -> None:
    """
    browser_useを使用して、ブラウザの自動化タスクを実行する
    
    Args:
        browser_session: 再利用する既存のブラウザ セッション
        bedrock_chat: Bedrockチャットモデルのインスタンス
        task: エージェントに与える自然言語のタスク
    """
    try:
        # タスク実行を出力
        console.print(f"\n[bold blue]🤖 タスク実行:[/bold blue] {task}")
        
        # エージェントを作成して実行
        agent = Agent(
            task=task,
            llm=bedrock_chat,
            browser_session=browser_session
        )
        
        # 進捗を表示しながら実行
        with console.status("[bold green]ブラウザ自動処理を実行中...[/bold green]", spinner="dots"):
            await agent.run()
        
        console.print("[bold green]✅ タスクは正常に完了しました！[/bold green]")
        
    except Exception as e:
        console.print(f"[bold red]❌ タスク実行中にエラーが発生しました:[/bold red] {str(e)}")
        import traceback
        if console.is_terminal:
            traceback.print_exc()

# ブラウザセッションとモデルを永続化するために作成
browser_session = None
bedrock_chat = None

try:
    # ヘッダーからブラウザプロファイルを作成
    browser_profile = BrowserProfile(
        headers=headers,
        timeout=1500000,  # 150秒でタイムアウト
    )
    
    # CDP URLと、永続化のための keep_alive=True を指定して、ブラウザセッションを作成
    browser_session = BrowserSession(
        cdp_url=ws_url,
        browser_profile=browser_profile,
        keep_alive=True  # タスク間でブラウザを永続化させる
    )
    
    # ブラウザセッションを初期化
    console.print("[cyan]🔄 ブラウザセッションを初期化中...[/cyan]")
    await browser_session.start()
    
    # ChatBedrockConverseを一度だけ作成
    bedrock_chat = ChatBedrockConverse(
        model_id="us.anthropic.claude-sonnet-4-20250514-v1:0",
        region_name="us-east-1"
    )
    
    console.print("[green]✅ ブウラウザセッションが初期化され、タスクを実行できる準備が完了しました[/green]\n")

    task = "amazon.co.jp でコーヒーメーカーを検索し、最初の商品の詳細を抽出してください。" ## 他のタスクを実行する場合は修正

    await run_browser_task(browser_session, bedrock_chat, task)

finally:
    # ブラウザセッションをクローズ
    if browser_session:
        console.print("\n[yellow]🔌 ブラウザセッションをクローズ中...[/yellow]")
        with suppress(Exception):
            await browser_session.close()
        console.print("[green]✅ ブラウザセッションがクローズされました[/green]")

🔄 ブラウザセッションを初期化中...

(snip)

✅ ブウラウザセッションが初期化され、タスクを実行できる準備が完了しました

(snip)

🤖 タスク実行: amazon.co.jp でコーヒーメーカーを検索し、最初の商品の詳細を抽出してください。

(snip)

INFO     [browser_use.Agent🅰 6c51 on 🆂 c8bb.16] 🚀 Starting task: amazon.co.jp でコーヒーメーカーを検索し、最初の商品の詳細を抽出してください。

(snip)

INFO     [browser_use.Agent🅰 6c51 on 🆂 c8bb.16] 💡 Thinking:
ユーザーリクエストを分析すると、amazon.co.jpでコーヒーメーカーを検索し、最初の商品の詳細を抽出する必要があります。これは複数のステップを含むタスクです：
1. Amazon.co.jpにアクセス
2. コーヒーメーカーを検索
3. 最初の商品をクリック
4. 商品詳細を抽出
5. 結果をファイルに保存

現在の状態：Chromeの新しいタブページにいます。検索バーが表示されており、Amazon.co.jpに直接アクセスできます。

まず、このマルチステップタスクのためにtodo.mdファイルでプランを作成し、その後amazon.co.jpに移動します。これは最初のステップなので、前の目標は存在しません。
INFO     [browser_use.Agent🅰 6c51 on 🆂 c8bb.16] ❔ Eval: 初回ステップのため、評価する前の目標はありません。
INFO     [browser_use.Agent🅰 6c51 on 🆂 c8bb.16] 🧠 Memory: Amazon.co.jpでコーヒーメーカー検索タスクを開始。現在新しいタブページにいて、Amazon.co.jpに移動する必要があります。
INFO     [browser_use.Agent🅰 6c51 on 🆂 c8bb.16] 🎯 Next goal: タスクの進行状況を追跡するためにtodo.mdファイルを作成し、その後amazon.co.jpに移動します。

(snip)

INFO     [browser_use.Agent🅰 6c51 on 🆂 c8bb.16] 💡 Thinking:
現在の状況を分析します：

1. Agent Historyから：
   - ステップ1でtodo.mdファイルが正常に作成されました
   - ステップ2でAPI呼び出しが失敗しました（レート制限）
   - 現在はステップ3で、Chromeの新しいタブページにいます

2. Browser Stateから：
   - 現在chrome://new-tab-page/にいます
   - Googleの検索バーが利用可能（index 0）
   - 他にもショートカットやカスタマイズボタンがあります

3. File Systemから：
   - todo.mdには6つのタスクが記載されており、まだ全て未完了です
   - results.mdは空のファイルです

4. 前回のアクションの評価：
   - 前回のアクションはAPI呼び出し失敗でした
   - これは成功でも失敗でもなく、システムエラーです

次に何をするべきか：
- todo.mdの最初のタスク「Amazon.co.jpにアクセス」を実行する必要があります
- 現在新しいタブページにいるので、Amazon.co.jpに直接移動するのが最適です
- go_to_url アクションを使ってAmazon.co.jpに移動します

(snip)

INFO     [browser_use.Agent🅰 6c51 on 🆂 c8bb.16] ❔ Eval: 前回のアクションはAPI呼び出しの失敗（レート制限）でした。システムエラーのため、成功/失敗の判定は不適用です。
INFO     [browser_use.Agent🅰 6c51 on 🆂 c8bb.16] 🧠 Memory: 現在Chromeの新しいタブページにいます。todo.mdファイルは正常に作成されており、Amazon.co.jpでコーヒーメーカー検索のタスクが6つのステップに分かれて記載されています。次はAmazon.co.jpにアクセスする必要があります。
INFO     [browser_use.Agent🅰 6c51 on 🆂 c8bb.16] 🎯 Next goal: Amazon.co.jpにアクセスしてコーヒーメーカー検索タスクの最初のステップを完了します。

(snip)

INFO     [browser_use.Agent🅰 6c51 on 🆂 c8bb.16] 💡 Thinking:
エージェントヒストリーを見ると、前のステップでAmazon.co.jpに正常にナビゲートできました（Step 3で成功）。現在Amazon.co.jpのページにいることが確認できます。

ブラウザ状態を分析すると：
- 現在のURL：https://www.amazon.co.jp/
- インタラクティブ要素が4つ見えています：[0]から[3]まで
- ページ内容がエンコードの問題で文字化けしているようですが、スクリーンショットを見るとAmazonのページが正常に表示されています
- スクリーンショットから検索バーが見えており、上部にAmazonのロゴとナビゲーションが確認できます

todo.mdファイルの進捗を確認すると：
- Amazon.co.jpにアクセス：完了
- 次のタスクはコーヒーメーカーを検索すること

現在のページで検索バーを見つける必要があります。しかし、インタラクティブ要素のリストでは検索バーが明確に見えていません。スクリーンショットを見ると検索バーがありそうですが、現在の要素リストには検索用のinput要素が見当たりません。

ページが完全にロードされていない可能性があるため、まずページを少し待機してから、アクセシビリティツリーを取得してより多くの要素を確認する必要があります。
INFO     [browser_use.Agent🅰 6c51 on 🆂 c8bb.16] ❔ Eval: Amazon.co.jpへのアクセスは成功しました。ページが正常に表示されています。
INFO     [browser_use.Agent🅰 6c51 on 🆂 c8bb.16] 🧠 Memory: Amazon.co.jpに正常にアクセスしました。現在Amazonのメインページにいますが、検索バーなどの主要な要素がインタラクティブ要素リストに表示されていません。ページの完全なロードを待つ必要があります。
INFO     [browser_use.Agent🅰 6c51 on 🆂 c8bb.16] 🎯 Next goal: ページが完全にロードされるまで待機し、その後検索バーを特定してコーヒーメーカーの検索を実行します。

(snip)

client.stop()
print("ブラウザセッションは正常に停止しました！")

01-tutorials/05-AgentCore-tools/02-Agent-Core-browser-tool/02-browser-with-browserUse/

from playwright.sync_api import sync_playwright, Playwright, BrowserType
from bedrock_agentcore.tools.browser_client import browser_session
import time
import sys
# ここにヘルパーBrowserViewerServerが用意されている
sys.path.append("../interactive_tools")
from browser_viewer import BrowserViewerServer

def run(playwright: Playwright):
    # ブラウザセッションを作成して永続化する
    with browser_session('us-east-1') as client:
        ws_url, headers = client.generate_ws_headers()

        # ビューワーサーバを起動
        viewer = BrowserViewerServer(client, port=8005)
        viewer_url = viewer.start(open_browser=True)

        # ヘッダを使って接続
        chromium: BrowserType = playwright.chromium
        browser = chromium.connect_over_cdp(
            ws_url,
            headers=headers
        )

        context = browser.contexts[0]
        page = context.pages[0]

        try:
            page.goto("https://www.amazon.co.jp/")
            print(page.title())
            time.sleep(120)
        finally:
            page.close()
            browser.close()

with sync_playwright() as playwright:
    run(playwright)

uv run browser_agent_with_playwright.py

✅ DCV SDK found (1,938,365 bytes)

✅ Viewer server running at: http://localhost:8005
Check browser console (F12) for detailed debug information

Opening browser...

Generated presigned URL:
https://bedrock-agentcore.us-east-1.amazonaws.com/browser-streams/aws.browser.v1/sessions/01K1QMFJBJSV7C4VEWAWW3M26V/live
-view?XXXXXXXXXXXXXXXXXXXX

Amazon.co.jp