Claude 3.5 Sonnet の脅威のコーディング能力

GPTやGeminiシリーズに比肩するClaudeの最新モデルであるClaude 3.5 Sonnetが公開され、その図表を理解するマルチモーダル性能とコーディング性能の高さが大きな反響を呼んでいます。

ハイパフォーマンスなモデルが安価に利用可能に

Claudeシリーズの中でも「Sonnet」というモデルは、リリース時点ではGPT 3.5 Turboの対抗馬として、高速で、安価で、推論能力は少し低いモデルとして登場しました。しかし今回リリースされたClaude 3.5 Sonnetは、高速かつ安価という特徴はそのままに、非常に高い推論能力（頭の良さ）を備えたモデルに生まれ変わりました。

開発元のAnthropicの公開したベンチマークの結果では、GPT-4o、Gemini 1.5 Pro、Claude 3 Opusを超える最高の性能を持つモデルであることが示されました。

とりわけ注目すべきなのが、グラフや数式の読み取り性能の高さです。Visual math reasoning、Science diagrams、Chart Q&Aといったベンチマークによってその性能の高さが示されている通り、従来のAI-OCRやマルチモーダルLLMが苦手としていた図表の読み取りにおいて非常に高い性能を発揮しています。

デモ動画では、複雑な２つの図表から情報を読み取り、JSON形式のコードに起こした後に分析結果として動的なチャートを埋め込んだスライドを作成する様子が示されています。

Claude 3.5 SonnetはClaude.aiから無料で試すことができる他、AWSのBedrockやGCPのVertex AIからAPI経由で利用することも可能です。API経由では 入力 $3 / 1M tokens、出力 $15 / 1M tokens と比較的安価に利用できるため、マルチモーダルモデルを利用する際の選択肢としてはGPT-4o以上に魅力的なものとなります。