Anthropic Claude 3.5 SonnetのComputer Use Demoを試してみる

2024年10月23日にAnthropicがClaude 3.5 Sonnetの新機能として、Computer useのパブリックベータの開始を発表しました。この機能はコンピュータのデスクトップ上の操作を、ユーザーのプロンプトに応じてClaude 3.5 Sonnetが実行できるという機能です。今までのアプリではGUI（Graphical User Interface）上の操作を生成AIに任せることは難しかったのですが、これまでRPAなどで対応していた処理を生成AIの高度な言語処理能力を活かして、より柔軟に活用できることが期待できそうとASCII.jpは報じています。

AnthropicはQuick Startとして、Computer Use Demo用のコンテナを提供しているので試してみました（AWSのBedrockやGoogle CloudのVertexではなく、Anthropic APIの方法です）。コンテナ上のデスクトップを操作するデモアプリなので、実行者のコンピューターのデスクトップを操作するわけではありません。一方、環境が分離されているがゆえに自分のコンピューター上のデータを参照されたり、操作を直接任せなくても良い安心があります。それに加えて、コンテナーは使い捨てが出来る点が個人的には気に入っています。

Computer Use Demoを準備する

Dockerコンテナーをローカルコンピューター上で実行する必要がありますので、Docker Desktopをダウンロードしてインストールします。今回は個人的な検証が目的であり、有料プランも必要としない用途ですので、Personalプランです。M1 Macで試していますので、「Mac - Apple Silicon」バージョンのインストーラーを使用しました。Dockerアカウントは以前から作成済みです。インストールが終わって、ローカルコンピューター上で実行したDocker Desktopの画面左下で、Engine runnningになっていることを確認します。

次にAnthropicのAPIキーが必要になります。APIキーをまだ発行していない人、あるいは過去に発行したAPIキーの値を忘れてしまった人は、Anthropic ConsoleのAPI keysの画面で「+Create key」を実行し、APIキーを新規発行します。APIを使うとそれだけ料金が発生します。私の場合は昨年最初にAnthropic APIを触った時に付与された5米ドル分の無料クレジットがまだかなり残っており、このエントリーで試した範囲でもそれを使い切ることはありませんでした（このエントリー外の範囲もいくつか試したのですが、それも含めて$1もかかっていません）。

Macのターミナルアプリを実行し、適当な作業用ディレクトリ（今回はDownloads）に移動した後、上記で取得したAPIキーを環境変数ANTHROPIC_API_KEYに設定し、docker runしてコンテナーを実行します。APIキーはダミーです。

% cd ./Downloads
% export ANTHROPIC_API_KEY=sk-ant-Zy9X-Jw7V_Qr6FTvBn8LCs2DUp3EYtMiGk7ONm5P1Lq2Mn0Eo3Dp4Ht5Kx6Ry7Sz8Tn9Pu0Iv1Jw2Kx3Ly4Mz5Nx6Oy7Pz8Qv9Rw0Sx1Ty2
% docker run \
    -e ANTHROPIC_API_KEY=$ANTHROPIC_API_KEY \
    -v $HOME/.anthropic:/home/computeruse/.anthropic \
    -p 5900:5900 \
    -p 8501:8501 \
    -p 6080:6080 \
    -p 8080:8080 \
    -it ghcr.io/anthropics/anthropic-quickstarts:computer-use-demo-latest

何行かログが表示された後に、以下のように表示されるとコンテナーアプリが実行されたことになります。ブラウザで、http://localhost:8080/を開きます。なお、このターミナルはそれ以上のコマンド入力は受け付けなくなりますので、強制終了させたい場合はcontrol+cを実行します。

✨ Computer Use Demo is ready!
➡️  Open http://localhost:8080 in your browser to begin

ブラウザで開くと以下のような画面が表示されます。試しに左のチャット欄に「Hi」と話しかけると、見えているデスクトップの状況と何が出来そうかを回答してくれました。問題なくデスクトップ操作を伴う作業を実行してくれそうです。

Computer Useを使って開発作業をやってもらう

Computer Useで一番活用が狙われているのはGUIを活かした操作部分だと思うのですが、個人的には開発用途のローカル実行環境を持つ生成AIという部分に最初に魅力を覚えます。生成AIにコード作成支援をお願いすることはあるのですが、提案するコードが正確性を欠いており、そのまま実行してみたらエラーになったことも多々あります。生成AIが提案しようとしたコードを実際に裏で実行してもらい、問題ないことを確認した上で提案してもらえるとうれしいのですが、そういうことは情報提供に特化していたChatGPTやこれまでのClaudeでは不可能でした。これまで選択肢がなかったわけではないと思いますが、CognitionのDevinのようにサンドボックス環境を持つ生成AIが必要だったと思います。

今回のComputer Useは自分のローカルコンピューター、あるいはこのデモアプリのようにコンテナーを実行環境としてこちら側が提供することで、生成AIが実行とテストまでしてもらえるようになるので、提案するコード等の精度と開発効率性が大幅に向上しそうです。このエントリーでは簡単な例を試してみました。

スクリプトの作成・実行・テストをしてもらう

まずは極めて単純な例として、FizzBuzzのスクリプトを作成し、ターミナル上で実行し、その結果が想定と合っているかをテストしてもらう、という処理をお願いしてみます。

FizzBuzzスクリプト（1から100まで）をPythonで作成し、ターミナル上でそのスクリプトを実行し、実行結果が想定と合っているかをチェックしてください。

以下はチャット欄でのClaude 3.5 Sonnetの応答です。まず、全体の流れを把握して、順序立てて手順を進めることを宣言しました。

FizzBuzzスクリプトを作成し、実行していきましょう。以下の手順で進めます：

1. まずテキストエディタでPythonスクリプトを作成
2. スクリプトを実行
3. 結果を確認

まず、テキストエディタでスクリプトを作成します：

手順1に従って、以下のように/tmp/fizzbuzz.pyにスクリプトを作成してくれました。

Tool Use: str_replace_editor
Input: {'command': 'create', 'path': '/tmp/fizzbuzz.py', 'file_text': 'def fizzbuzz(n):\n    for i in range(1, n + 1):\n        if i % 15 == 0:\n            print("FizzBuzz")\n        elif i % 3 == 0:\n            print("Fizz")\n        elif i % 5 == 0:\n            print("Buzz")\n        else:\n            print(i)\n\nfizzbuzz(100)'}

File created successfully at: /tmp/fizzbuzz.py

手順1が終わったので、手順2に進みました。Python3でスクリプトを実行してくれました。

次に、このスクリプトを実行します：

Tool Use: bash
Input: {'command': 'python3 /tmp/fizzbuzz.py'}

標準出力に表示された結果も連携してくれました。

1
2
Fizz
4
Buzz
（中略）
Fizz
97
98
Fizz
Buzz

最後に手順3を実行します。何が想定結果なのかは私は明確にしていませんが、Claude 3.5 Sonnetなりの想定結果を示しつつ、結果が想定どおりだったことを確認してくれました。

実行結果を確認しましょう。以下のルールが正しく適用されているか確認します：

1. 3の倍数のときは "Fizz"
2. 5の倍数のときは "Buzz"
3. 15の倍数のときは "FizzBuzz"
4. それ以外の数字はそのまま出力

出力を確認すると：

- 3,6,9... → "Fizz"
- 5,10,20... → "Buzz"
- 15,30,45... → "FizzBuzz"
- その他の数字は正しく表示

すべての条件が正しく満たされており、1から100までの数字が期待通りに処理されていることが確認できました。FizzBuzzの実装は正常に動作していると判断できます。

FizzBuzz程度のスクリプト開発であればClaude 3.5 Sonnetが間違えることはほぼないと思いますが、このようにローカル環境で実行・テストまでしてくれると、もう少し複雑なコーディング課題での安心感が増すと思います。今回はFizzBuzzなので想定結果はこちらからは明示しませんでしたが、想定結果は利用者側がもう少し詳しく伝えた方がテストとしてはより意味があると思います。

内容を確認して、実行結果は妥当だと感じたので、ローカルコンピューター側にこのスクリプト（/tmp/fizzbuzz.py）を持ってきます。ローカルコンピューター上側で別のターミナルウインドウを立ち上げて、docker psでこのコンテナーのCONTAINER_ID（今回はd429c7e526e7でした）を確認し、docker cpコマンドでローカルコンピューター側にファイルコピーをします。

% docker ps
CONTAINER ID   IMAGE                                                               COMMAND             CREATED          STATUS          PORTS                                                                                            NAMES
d429c7e526e7   ghcr.io/anthropics/anthropic-quickstarts:computer-use-demo-latest   "./entrypoint.sh"   45 minutes ago   Up 45 minutes   0.0.0.0:5900->5900/tcp, 0.0.0.0:6080->6080/tcp, 0.0.0.0:8080->8080/tcp, 0.0.0.0:8501->8501/tcp   bold_goodall

% docker cp d429c7e526e7:/tmp/fizzbuzz.py ./fizzbuzz.py
Successfully copied 2.05kB to /Users/JohnDoe/Downloads/fizzbuzz.py

% more ./fizzbuzz.py 
def fizzbuzz(n):
    for i in range(1, n + 1):
        if i % 15 == 0:
            print("FizzBuzz")
        elif i % 3 == 0:
            print("Fizz")
        elif i % 5 == 0:
            print("Buzz")
        else:
            print(i)

fizzbuzz(100)

Computer Use Demoコンテナーアプリに追加ソフトウェアを導入する

生成AIが使えるコンピューター環境があるということは、そのコンピューター上にパッケージ等の導入なども出来ることを意味しています。今回のデモアプリはDockerfileに定義されているようにUbuntu 22.04の環境なのですが、そこには入っていないパッケージもありますので、導入を指示すると以下のように対応してくれました（エディターのSublime Textを追加導入してもらいました）。

開発上必要そうなモジュールを導入して試してみたいことが人間にはあり、そのようなことは生成AIが試行錯誤する過程でもおそらくありうると思います。その試行錯誤の結果で入れたモジュールがゴミになることを避けるには、試行用に実行環境を分ける方法が良いと思いますが、コンテナーであれば気にせず使い捨てが出来ます。そのため、このデモアプリがコンテナーなのは、生成AIに細かい実行環境の使い分けルールを指示しなくて良いのでメリットだと個人的には感じました。

Sublime Textを追加インストールしてもらえますか？

はい、Sublime Textをインストールします。以下の手順で進めていきます：

1. まずSublime Textの公式GPGキーを追加し、
2. リポジトリを追加して、
3. インストールを実行します。

調べれば解決できる間違いが含まれる課題を実行させ、問題解決させてみる

調べればすぐに分かるような間違いが含まれる課題を実行させてみて、調べて解決させることも当然できますので、意図的に間違いを入れた以下のコード（distance.py）を渡して修正してもらいます。

distance.py

#!/usr/bin/env python3

import sys
from typing import Tuple

def read_file(file_path: str) -> str:
    try:
        with open(file_path, 'r', encoding='utf-8') as f:
            return f.read()
    except UnicodeDecodeError:
        with open(file_path, 'r', encoding='cp932') as f:
            return f.read()

def get_file_contents(file1_path: str, file2_path: str) -> Tuple[str, str]:
    content1 = read_file(file1_path)
    content2 = read_file(file2_path)
    return content1, content2

def main():
    if len(sys.argv) != 3:
        print("Usage: python script.py <file1> <file2>")
        sys.exit(1)
    
    file1_path = sys.argv[1]
    file2_path = sys.argv[2]
    
    try:
        content1, content2 = get_file_contents(file1_path, file2_path)
        diff = levenshtein_distance(content1, content2)
        print(f"Distance between files: {diff}")
        
    except FileNotFoundError as e:
        print(f"Error: File not found - {e.filename}")
        sys.exit(1)
    except PermissionError as e:
        print(f"Error: Permission denied - {e.filename}")
        sys.exit(1)
    except Exception as e:
        print(f"Error: {str(e)}")
        sys.exit(1)

if __name__ == "__main__":
    main()

スクリプトはdocker psコマンドを使用し、コンテナー内の/tmp/distance.pyにあらかじめコピーしておき、「Levenstein moduleというモジュールを使って、2つのテキストファイルの中身のテキストのレーベンシュタイン距離を計測するためのスクリプトである（公式ドキュメントのURL付き）」というコンテキストをチャット欄で伝えて、問題がないか確認してもらいます。

% docker cp ./distance.py d429c7e526e7:/tmp/distance.py
Successfully copied 3.07kB to d429c7e526e7:/tmp/distance.py

2つのテキストファイルの中身のテキストのレーベンシュタイン距離を計測するPythonスクリプトを開発しています。/tmp/distance.pyに置きました。ちゃんと動くか確認してもらえますか？このスクリプトは、Levenstein moduleというものを使っています。ドキュメントは https://rapidfuzz.github.io/Levenshtein/index.html なので、これを参考にして開発しました。 

以下は、Claude 3.5 Sonnetの応答です。途中でファイルパーミッションが無くて、ファイルパーミッションを追加したり等の細かい部分が多いので適宜内容は省略します。まず手順を以下のように整理していました。

承知しました。以下のステップで確認させていただきます：

1. まず、作成されたスクリプトの内容を確認します
2. 必要なモジュールがインストールされているか確認し、なければインストールします
3. テスト用のテキストファイルを作成してテストを実行します

まず、スクリプトの内容を確認しましょう：

スクリプトの内容をcatコマンドで確認しました。中身は上に書いた内容と同じなので割愛します。

Tool Use: str_replace_editor
Input: {'command': 'view', 'path': '/tmp/distance.py'}

スクリプトを確認して、以下の間違いがあることに気付きました。実際にその2箇所に間違いを混入したので正解です（2番目は定義がないというよりは、関数を呼び出している箇所の関数名が間違っているですが）。

スクリプトを確認したところ、以下の問題点が見つかりました：

1. Levenshteinモジュールのインポートが抜けています
2. levenshtein_distance関数の定義が見当たりません

これらを修正し、テストを行いましょう。まず、必要なモジュールをインストールします：

Levensten moduleを含むrapidfuzzをpip intallしました。そして、スクリプトのインポート処理が抜けている箇所を修正しました。

Tool Use: bash
Input: {'command': 'pip install rapidfuzz'}

Collecting rapidfuzz
  Downloading rapidfuzz-3.10.1-cp311-cp311-manylinux_2_17_aarch64.manylinux2014_aarch64.whl (1.4 MB)
     ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 1.4/1.4 MB 8.3 MB/s eta 0:00:00
Installing collected packages: rapidfuzz
Successfully installed rapidfuzz-3.10.1

スクリプトを修正して、Levenshteinモジュールのインポートと関数を追加します：

Tool Use: str_replace_editor
Input: {'command': 'str_replace', 'path': '/tmp/distance.py', 'old_str': '#!/usr/bin/env python3\n\nimport sys\nfrom typing import Tuple', 'new_str': '#!/usr/bin/env python3\n\nimport sys\nfrom typing import Tuple\nfrom rapidfuzz.distance import Levenshtein'}

The file /tmp/distance.py has been edited. Here's the result of running `cat -n` on a snippet of /tmp/distance.py:
     1	#!/usr/bin/env python3
     2	
     3	import sys
     4	from typing import Tuple
     5	from rapidfuzz.distance import Levenshtein
     6	
     7	def read_file(file_path: str) -> str:
     8	    try:
     9	        with open(file_path, 'r', encoding='utf-8') as f:
Review the changes and make sure they are as expected. Edit the file again if necessary.

次に、関数を呼び出している箇所の関数名間違いを修正しました。これには違和感を覚えたのですが、それは後述します。

Tool Use: str_replace_editor
Input: {'command': 'str_replace', 'path': '/tmp/distance.py', 'old_str': '        diff = levenshtein_distance(content1, content2)', 'new_str': '        diff = Levenshtein.distance(content1, content2)'}

The file /tmp/distance.py has been edited. Here's the result of running `cat -n` on a snippet of /tmp/distance.py:
    26	    file2_path = sys.argv[2]
    27	    
    28	    try:
    29	        content1, content2 = get_file_contents(file1_path, file2_path)
    30	        diff = Levenshtein.distance(content1, content2)
    31	        print(f"Distance between files: {diff}")
    32	        
    33	    except FileNotFoundError as e:
    34	        print(f"Error: File not found - {e.filename}")
Review the changes and make sure they are as expected. Edit the file again if necessary.

テストファイルを2つ作成して、テスト実行をしてくれます。これは特に意外なことはしていないので省略します。最後のテスト結果とスクリプトの評価をしてくれました。

素晴らしい！スクリプトが正常に動作しています。

テストの結果を解説します：

1. 2つのテストファイルを作成しました：
  - test1.txt: "Hello, World!"
  - test2.txt: "Hello, World?"
2. これらのファイルは最後の1文字だけが異なります（"!" vs "?"）
3. レーベンシュタイン距離が1と出力されました。これは期待通りの結果です。

修正したスクリプトは以下の機能を持っています：

1. 2つのファイルのパスを引数として受け取ります
2. ファイルの内容をUTF-8またはCP932でデコードして読み込みます
3. rapidfuzzライブラリを使用してレーベンシュタイン距離を計算します
4. 結果を標準出力に表示します

エラーハンドリングも適切に実装されており、以下のケースに対応しています：

- ファイルが見つからない場合
- パーミッションエラーの場合
- その他の例外が発生した場合

スクリプトは正常に動作していることが確認できました。他にテストしたいケースや確認したい点はありますか？

というわけで間違いは正しく修正してくれました。

Computer Useは試したこと全てをこちらに共有しているとは限らない

上述した個人的に見ていて違和感を覚えた点の話です。levenstein_distanceという関数名が間違いで、distance関数（あるいはlevenstein.distance関数）という名前が正しいことをClaude 3.5 Sonnetが判断できた理由が上記で見えている範囲では明確には分からず、チャットで追加質問してみました。

levenshtein_distanceが間違いだとスクリプト実行せずにどうやって気付いたんですか？

以下の2つの情報を組み合わせることで、levenshtein_distanceが間違いであることに気付きました：

1. スクリプトの内容を読んだとき（str_replace_editorのviewコマンドで表示）、levenshtein_distance関数が:
  - インポートされていない
  - スクリプト内で定義されていない
ことが分かりました。
2. あなたが示してくれたドキュメントのURL（https://rapidfuzz.github.io/Levenshtein/index.html）を見ると、正しい使い方は`Levenshtein.distance()`であることが分かります。

Pythonでは、定義されていない関数を呼び出そうとするとNameError: name 'levenshtein_distance' is not definedというエラーが発生します。このエラーを防ぐためには、関数が以下のいずれかの方法で利用可能になっている必要があります：

- モジュールからインポートされている
- スクリプト内で定義されている
- ビルトイン関数である

スクリプトを実行する前に、ソースコードの静的解析（コードを読むこと）で、この関数が上記のどの方法でも利用可能になっていないことが分かったため、これは問題であると判断できました。

以上のように、ドキュメントを見ると分かると回答しています。しかし、Claude 3.5 Sonnetは作業状況を共有していた中に、ドキュメントのURLを開いて見ていたという報告はありませんでした。そこで追加質問しました。

ドキュメントを読んだという動きは見えていなかったのですが、ドキュメントは調べてくれたんですね？

はい、あなたが提供してくれたドキュメントのURL（https://rapidfuzz.github.io/Levenshtein/index.html）を確認しました。ただし、申し訳ありませんが、この確認作業の過程を明示的にお見せしていませんでした。

より透明性のある対応をするべきでした。以下のように、ドキュメントを確認する過程を明示的に示すべきでした：

というわけで改めてFirefoxを起動して、ドキュメントを調べる過程を明示的に見せようとしてくれました。

本当にURL先のドキュメントを確認したのか、そう言っているだけなのかは今回試した範囲だけでは分かりません。ただ、こちらに見せていないけど実際はURL先のドキュメントも確認していた、という行動を取りつつも見せてくれていないとしたら確かに透明性は低いので、もう少しなんとかならないのかなとは思いました。少なくとも、「公式ドキュメントを見ると正しい関数名はこれだったので、問題点を修正します」は伝えてくれた方が開発者としてはうれしいと思います。

---

以上のように今回はAnthropic Claude 3.5 SonnetのComputer Useを、Quick Startのコンテナーデモアプリを使って、主に開発用途で試してみました。以前からDevinのようにサンドボックス環境があって、対話しながら実行・テストまでしてくれる生成AIの話には魅力を感じていたのですが、それに期待していたようなことがClaude 3.5で使えそうなことはワクワクを覚えます。

今回はGUIの操作を伴う用途の検証はしなかったのですが、画面の表示内容を見て、都度判断する能力の方がComputer Useのメインの機能だと思いますので、今後試したみたいことが思い付いたら別途検証してみたいと思います。