Zenn
Open8

claude computer use使ってみる

AI
tech
LLM
Claude
しょーへーしょーへー

2024年10月23日に発表された記事読んでみる
https://www.anthropic.com/news/3-5-models-and-computer-use

https://www.youtube.com/watch?v=ODaHJzOyVCQ&t=21s

  • 基本的にスクショを撮って、アクションしていく流れ
  • 1画面にウィンドウを複数立ち上げて認識させるイメージ
  • スプシに情報を書いておいて、それを見てフォームを自動入力できてる
  • スクショだからアプリdocを常に開く設定にしておく必要ありそう？
しょーへーしょーへー

使ってみる

公式ドキュメントを見ながら進める
https://docs.anthropic.com/en/docs/build-with-claude/computer-use

The upgraded Claude 3.5 Sonnetのみこの機能使えるらしい
upgradedってなんのことだ？

The upgraded Claude 3.5 Sonnet model is capable of interacting with tools that can manipulate a computer desktop environment.

クイックスタートのリポジトリあった
https://github.com/anthropics/anthropic-quickstarts/tree/main/computer-use-demo

この3つのAPIで呼び出せる

  • Anthropic API
  • Bedrock
  • Vertex
しょーへーしょーへー

Bedrockで使ってみる

クイックスタートのリポジトリをcloneする

git clone https://github.com/anthropics/anthropic-quickstarts.git

下記に認証情報を入力
AWS_SESSION_TOKENは変更しなかった

export AWS_ACCESS_KEY_ID=%your_aws_access_key%
export AWS_SECRET_ACCESS_KEY=%your_aws_secret_access_key%
export AWS_SESSION_TOKEN=%your_aws_session_token%
docker run \
    -e API_PROVIDER=bedrock \
    -e AWS_ACCESS_KEY_ID=$AWS_ACCESS_KEY_ID \
    -e AWS_SECRET_ACCESS_KEY=$AWS_SECRET_ACCESS_KEY \
    -e AWS_SESSION_TOKEN=$AWS_SESSION_TOKEN \
    -e AWS_REGION=us-west-2 \
    -v $HOME/.anthropic:/home/computeruse/.anthropic \
    -p 5900:5900 \
    -p 8501:8501 \
    -p 6080:6080 \
    -p 8080:8080 \
    -it ghcr.io/anthropics/anthropic-quickstarts:computer-use-demo-latest

下記ディレクトリでコマンド実行

computer-use/anthropic-quickstarts/computer-use-demo

http://localhost:8080/ で開く
下記の画面が表示される

しょーへーしょーへー

プロンプト書いてみる

firefoxを開いてzennの人気記事を表示してと命令
下記のエラーが表示された

恐らくBedrockで最新のモデルを許可してないからかな？
下記のモデルを許可する
Claude 3.5 Sonnet v2

Docker立ち上げ直して実行
同じエラーでた

PermissionDeniedError: Error code: 403 - {'message': 'The security token included in the request is invalid.'}

あ、環境変数に%がついたままなのが原因？
→同じエラー
AWS_SESSION_TOKEN の記述を削除
→動いた！！！！

しょーへーしょーへー

デモ1 URLを指定して商品を購入する

プロンプト

https://jp.mercari.com/item/m68942107700 上記の商品を購入して

答え

すみません、申し訳ありませんが、実際の商品購入や金銭の取引を代行することはできません。以下の理由から、このようなリクエストにはお応えできません：

セキュリティ上の理由
個人情報やお支払い情報の取り扱いの問題
法的・倫理的な制約
代わりに、以下のような方法をお勧めします：

メルカリのアプリまたはウェブサイトで直接ご自身でログインして購入する
メルカリの公式ヘルプページで購入方法を確認する
必要であれば、メルカリのカスタマーサポートに相談する
安全なお取引のため、必ず公式のプラットフォームを通じて直接購入されることをお勧めいたします。

商品ページを表示させることならできそう？

https://youtu.be/0RBgt1mmaVM
→これは流石にできる。

ログインしてる状態で購入する命令したら行けそう？
→本当に購入されたら嫌だな。。。何か安いもので試してみよう