Zenn
📝

Amazon Bedrock から Anthropic の Computer use を使ってみる

2024/10/23に公開
AWS
Bedrock
tech

はじめに

こんにちは、夜中にトイレに起きたら Anthropic からアップデートが発表されていたので目が冴えちゃったこばDです。Claude 3.5 Sonnet(new) と Claude 3.5 Haiku、そして computer use という新機能がパブリックベータとして公開されていましたね。
https://www.anthropic.com/news/3-5-models-and-computer-use

新モデルについては一旦後で検証するとして、この computer use とはなんなのか、早速試してみました。

computer use とは

ざっくり解説すると、プロンプトによって与えたタスクについて、仮想的なデスクトップ環境を Claude が操作して解決してくれる機能です。例えば、ブラウザを操作したり、スプレッドシートを操作したり。Claude が人間に変わってパソコンを操作してくれる・・・そんなイメージです。

モデル有効化

事前準備として、Amazon Bedrock でモデルを有効化します。コンソールから [Amazon Bedrock] -> [モデルアクセス] -> Claude 3.5 Sonnet v2 を有効化しましょう。

computer use を試す

以下のリポジトリで QucikStarts が公開されているので、Bedrock を利用して試していきます。
https://github.com/anthropics/anthropic-quickstarts/tree/main/computer-use-demo

まずは下準備です。

# リポジトリをクローン
git clone https://github.com/anthropics/anthropic-quickstarts

# ディレクトリの移動
cd anthropic-quickstarts/
cd computer-use-demo/

# AWS CLI の設定
# aws configure で設定したプロファイルを利用します
export AWS_PROFILE=<利用するプロファイルを指定>

最後に、Docker を起動します。

docker run \
    -e API_PROVIDER=bedrock \
    -e AWS_PROFILE=$AWS_PROFILE \
    -e AWS_REGION=us-west-2 \
    -v $HOME/.aws/credentials:/home/computeruse/.aws/credentials \
    -v $HOME/.anthropic:/home/computeruse/.anthropic \
    -p 5900:5900 \
    -p 8501:8501 \
    -p 6080:6080 \
    -p 8080:8080 \
    -it ghcr.io/anthropics/anthropic-quickstarts:computer-use-demo-latest

実行できたら http://localhost:8080 にアクセスすると、以下のような仮想のブラウザとチャット UI が表示されます。

このチャット UI にプロンプトを入力することで、Claude がマシンを操作し色々なタスクをこなすことが可能なようです。

ためしに「来週の東京の最高気温、最低気温をスプレッドシートにまとめて」と聞いてみます。

すると、現在のデスクトップの状態を認識したうえで、タスクをこなすにはどうすればよいかを考えてくれるようです。デスクトップの状態をピクセル単位で認識している？ようで、Tool use のような形でクリックや、マウス移動などの指示を与えていますね。

ちゃんと気象庁のサイトから東京の天気を見つけることができました。「来週の天気」と指示しましたが、明日、明後日の天気になっているところはちょっとドジっ子っぽいですね。

そして、LibreOffice を開き、集めた情報を Excel にまとめてくれました。すごい。
特に指示はしていませんでしたが、ちゃんと保存までしてくれています。

おわりに

サンドボックス環境を作って動かすことができるので、お手軽に試す事ができました！現時点でも、単純な作業であれば十分こなすことができるな〜という印象です。まだパブリックベータ段階とのことなので、今後が楽しみですね。

Discussion