Anthropic社、開発者コンソールでのプロンプト改善機能(Prompt Improver)を発表

はじめに

Anthropic社は本日、developer consoleに新機能を追加し、AIモデル「Claude」のプロンプトエンジニアリングをより効率的に行えるようになりました。この新機能により、プロンプトの品質向上とAIアプリケーションの信頼性向上が期待できます。

https://www.anthropic.com/news/prompt-improver

プロンプト改善機能の概要

新しく導入されたプロンプト改善機能は、以下の5つの方法でプロンプトを強化します：

1. チェーンオブソート推論: Claudeが問題を体系的に考えるための専用セクションを追加し、精度と信頼性を向上
2. 例の標準化: 例をXML形式に統一することで、明確性と処理効率を改善
3. 例の充実化: 新しい構造化されたプロンプトに合わせて、チェーンオブソート推論を組み込んだ例を追加
4. 書き換え: 文法やスペルの修正を含む、プロンプトの構造の明確化
5. プレフィル追加: Claudeの動作と出力形式を制御するためのアシスタントメッセージの事前設定

性能向上の実績

Anthropic社の検証によると、この改善機能により：

• マルチラベル分類テストでの精度が30%向上
  • 500件のWikipedia記事とタイトルを使用したテストで検証
  • ランダムに選択された文とタイトルのマッチング精度を評価
• 要約タスクでの文字数制限の遵守率が100%に到達
  • 10件のWikipedia記事を使用して検証
  • 指定された文字数範囲内での要約生成能力を評価

マルチショット例の管理機能

プロンプトの品質を向上させる最も効果的な方法の一つは、適切な例を追加することです。新機能では：

• Workbench上で構造化された形式で例を管理可能
• 入出力ペアの明確な追加や編集が容易に
• Claude主導の例生成機能により、合成例の自動作成が可能

これにより以下の向上が期待できます：

• 精度: 指示の誤解を減少
• 一貫性: 望ましい出力形式を確保
• パフォーマンス: 複雑なタスクへの対応力を強化

プロンプト評価機能

新しい評価機能では：

• 様々なシナリオでプロンプトをテスト可能
• 「理想的な出力」列を追加し、5段階でモデル出力を評価
• フィードバックを基にプロンプトを繰り返し改善可能
• JSON形式やXML形式など、出力形式の変更にも対応

導入事例：Kapa.ai

技術文書をAIアシスタント化する企業Kapa.aiは、この改善機能を使用してClaude 3.5 Sonnetへの移行を実施。同社の共同創業者Finn Bauer氏は、「Anthropicのプロンプト改善機能により、Claude 3.5 Sonnetへの移行が効率化され、より早い本番環境への展開が可能になった」とコメントしています。

利用開始方法

プロンプト改善機能、例管理機能、理想的な出力機能は、Anthropic Consoleの全ユーザーが利用可能です。詳細な使用方法については、Anthropicのドキュメントを参照してください。

これらの新機能により、開発者はより効率的にAIモデルの性能を最適化し、より信頼性の高いAIアプリケーションを構築できるようになります。

まとめ

Anthropic社の新機能は、プロンプトエンジニアリングの効率化と品質向上に大きく貢献することが期待されます。特に：

• プロンプトの自動改善機能による精度向上
• 例の管理と生成の効率化
• 詳細な評価と改善サイクルの実現

これらの機能は、開発者がより高品質なAIアプリケーションを効率的に構築するための強力なツールとなるでしょう。