Closed2

[論文] A Closer Look at System Prompt Robustness

論文
LLM
kun432kun432

論文

https://arxiv.org/abs/2502.12197

Claude-3.7-Sonnetによる落合プロンプトの結果

システムプロンプトの堅牢性に関する詳細な検討

1.どんなもの？

この論文は、大規模言語モデル（LLM）のチャットや機能の制御に重要な「システムプロンプト」の堅牢性について研究したものです。システムプロンプトとは、LLMに対して出力形式やパーソナリティ、ガードレール（制約条件）、コンテンツポリシー、安全対策などを指定するための指示文のことです。開発者はシステムプロンプトに依存してLLMの動作を制御していますが、モデルがこれらの指示を確実に守ることが重要です。特に、ユーザーからの矛盾する入力や敵対的な入力に直面した場合でも、システムプロンプトの指示を優先する必要があります。しかし実際には、モデルが関連するガードレールを考慮し忘れたり、システムとユーザーの間の矛盾する要求を解決できないことがよくあります。著者らは、OpenAIのGPTストアやHuggingFaceのHuggingChatから収集した実際のプロンプトに基づいて、システムプロンプトの堅牢性を向上させるための方法を研究しています。

2.先行研究を比べてどこがすごい？

既存のシステムプロンプト堅牢性の評価は、主にプロンプトインジェクション攻撃やロールプレイシナリオなど、特定の状況における動作の測定に焦点を当てていました。しかし、この研究ではより広範な状況でのシステムプロンプトの堅牢性を評価するための新しいデータセットと評価方法を提案しています。特に革新的な点は、実際の運用環境で使用されているシステムプロンプトから収集した現実的な新しい評価データセット「RealGuardrails」を作成したことです。さらに、単なる評価だけでなく、システムプロンプトの堅牢性を向上させるための現実的な微調整（ファインチューニング）データセットも作成しています。これにより、モデルが実際のアプリケーションで直面する様々な状況（整合する指示、矛盾する指示、無関係な指示、複数ターンの文脈など）でのパフォーマンスをより適切に評価・改善することが可能になりました。

3.技術や手法の肝はどこ？

本研究の中心的な手法は以下の4つです：

  1. 実際のシステムプロンプトの収集と分析：GPTストアとHuggingChatから1,850のシステムプロンプトを収集し、各プロンプトのガードレール（制約条件）を抽出
  2. 現実的な評価ベンチマーク「RealGuardrails」の作成：システムプロンプトに整合するユーザー入力と矛盾するユーザー入力の両方を含む評価ケースを手作業で作成。また、「ディストラクター」と呼ばれる、モデルの注意をそらすための無関係なデモンストレーションを含むテストケースも作成
  3. 訓練データの作成：収集したシステムプロンプトに基づき、整合するユーザーメッセージと矛盾するユーザーメッセージを生成。さらに、ツール呼び出しを含むアシスタントメッセージと、DPO（Direct Preference Optimization）用の選好ペアも作成
  4. 様々な改良手法の実験：教師あり微調整（SFT）、DPO、SimPO（Simple Preference Optimization）、命令セグメント埋め込み（ISE）などの訓練手法と、分類器なしのガイダンス、分割ソフトマックス、ダブルチェックなどの推論手法を組み合わせて実験

4.どうやって有効だと検証した？

研究チームは、システムプロンプトの堅牢性を評価するために、新規および既存のベンチマークを組み合わせた包括的な検証を行いました：

  1. RealGuardrails：実際のシステムプロンプトに基づく手作業で作成した239のテストケースと、無関係なタスクのデモを含む504の「ディストラクター」テストケース
  2. System-RULES：ルール遵守能力を評価するベンチマーク。基本的な矛盾するケースと敵対的なケースを含む
  3. TensorTrust：プロンプトインジェクション防御と攻撃のゲームからのデータセット
  4. System-IFEval：システムメッセージに埋め込まれた正確な指示に従う能力を評価
  5. AgentDojo：ツール呼び出しタスクにおけるプロンプトインジェクション耐性を評価

これらのベンチマークを用いて、様々なモデル（LlamaシリーズやQwen、OLMo）への改良手法の効果を検証し、GPT-4oやo3 miniなどの商用モデルとも比較しました。検証の結果、現実的なデータで微調整したモデルはベースラインよりも大幅に改善し、特にSFT+とDPOを組み合わせた手法が最も効果的でした。

5.議論はある？

研究結果から浮かび上がった主な議論点は以下の通りです：

  1. 「推論モデル」の有効性：OpenAIのo3 miniなどの推論モデルはシステムプロンプト遵守において特定の強みを示しましたが、全てのベンチマークで一貫した改善を示さないという不均一な結果も見られました。特に、コンテキストから関連情報を取得しながら無関係な情報を無視する能力に優れていましたが、矛盾を解決する能力では同様の改善は見られませんでした。
  2. システムプロンプトの複雑さの壁：「Monkey Island」ストレステストで示されたように、ガードレールの数が増えるとモデルのパフォーマンスが急激に低下します。実際のアプリケーションでは平均5.1個のガードレールを含んでいますが、ガードレールが多すぎるとモデルの「作業メモリ」を圧倒してしまうことが示唆されています。
  3. マルチターンディストラクターの難しさ：ディストラクターをマルチターンの会話に配置すると、単一のユーザーメッセージに全てのディストラクターを配置するよりも効果的にモデルの注意をそらすことができます。このことから、長いコンテキストでのシステムプロンプト遵守の難しさが示されています。
  4. 負の学習信号の重要性：DPOでの負のサンプルの使用と分類器なしガイダンスでの負のサンプルの使用は、どちらも効果的でした。これは、システムプロンプト遵守のような二値的なタスクにおいては、正しい例と間違った例の両方から学習することの重要性を示唆しています。

6.次に読むべき論文は？

この論文の内容を深く理解するためには、以下の関連論文を読むことが推奨されます：

  1. Wallace et al. (2024) "The Instruction Hierarchy: Training LLMs to Prioritize Privileged Instructions" - 指示の階層性に関する研究で、システムプロンプトの優先度について詳しく説明しています。
  2. Li et al. (2024a) "Measuring and Controlling Instruction (In)Stability in Language Model Dialogs" - 言語モデル対話における指示の安定性について研究しています。
  3. Toyer et al. (2023) "Tensor Trust: Interpretable prompt injection attacks from an online game" - プロンプトインジェクション攻撃と防御に関する二面的なゲームについて詳述しています。
  4. Zaremba et al. (2025) "Trading inference-time compute for adversarial robustness" - モデルの推論過程での自己反省機能について説明しており、本論文で言及されている「推論モデル」の背景を理解するのに役立ちます。
  5. Wu et al. (2024) "Instructional segment embedding: Improving llm safety with instruction hierarchy" - 命令セグメント埋め込み（ISE）の詳細について説明しています。
  6. Mu et al. (2024) "Can LLMs Follow Simple Rules?" - RULESベンチマークについて詳細に説明しており、本研究で使用されているSystem-RULESの元となっています。
kun432kun432
Q: 結論としては最適な改良手法はファインチューニングになるのでしょうか？その他の方法にはどのようなものがあるのでしょうか？

論文の結論と改良手法について、より詳しく説明いたします。

システムプロンプトの堅牢性を向上させるための手法は大きく分けると「訓練ベース」と「推論ベース」の2種類があります。

訓練ベースの手法

研究の結果、最も効果的だったのは「SFT+とDPOの組み合わせ」でした。これは、質の高い教師あり微調整データ（SFT+）で基本的な能力を高めた後、選好最適化（DPO）で特定の振る舞いをさらに強化するという二段階のアプローチです。

具体的な訓練ベースの手法には以下があります：

  1. 質の高い教師あり微調整（SFT+）：

    • RealGuardrails SFT（ツール呼び出しを含む現実的な会話）
    • 複雑なペルソナを含むMultifaceted Collection
    • ツール呼び出しを含むGlaive v2
    • プロンプトインジェクションに対応するSPML
      などの多様なデータを組み合わせた高品質なデータセットでの微調整が基本的な改善をもたらしました。

  2. 選好最適化（DPO/SimPO）：

    • DPO（Direct Preference Optimization）は「良い応答」と「悪い応答」のペアを用いた学習で、大きな改善をもたらしました
    • SimPO（Simple Preference Optimization）はDPOより効果は低かったものの、計算コストが少なく安定した改善を示しました

  3. 命令セグメント埋め込み（ISE）：

    • 各トークンに、それがシステム、ユーザー、アシスタントなどのどの「役割」に属するかを示すIDを割り当てる手法
    • 一部のベンチマークでは小さな改善をもたらしましたが、一貫した効果は見られず、実装も複雑になります

推論ベースの手法

訓練済みモデルの出力生成過程を制御する手法として、以下が検討されました：

  1. 分類器なしガイダンス（Classifier-Free Guidance）：

    • 画像生成モデルから着想を得た手法で、システムプロンプトがある場合とない場合（あるいは詳細なルールがある場合とない場合）の出力確率の差に基づいて生成を制御
    • 特にLlama 3.1 8B Instructに適用した場合に一貫した改善が見られました
    • もっとも、DPO微調整済みモデルではこの手法の効果は限定的でした

  2. ダブルチェック戦略：

    • モデルの最初の応答を、システムプロンプトに対する遵守度を確認しながら編集させる手法
    • 結果は一貫せず、真の自己反省能力には強化学習ベースの「推論訓練」が必要と示唆されています

  3. 分割ソフトマックス（Split-Softmax）：

  • 生成時にシステムメッセージトークンへの注意スコアを上げる手法
  • 本研究では顕著な改善は観察されませんでした

推論モデル

特に注目すべきなのは、OpenAIのo3-miniなどの「推論モデル」です。これは通常のモデルに推論能力を追加したもので：

  • 中間出力を生成前に自己反省できる
  • 特に長いコンテキストや複雑なシステムプロンプトでの堅牢性が向上
  • ただし矛盾の解決などでは同程度の改善は見られない

結論

研究全体としての結論は：

  1. 最適な手法は組み合わせ：質の高いSFT+とDPOの組み合わせが最も効果的でした。特に「負の学習信号」（何をすべきでないかの例）が重要であることが判明しました。
  2. 推論メカニズム：単純なダブルチェックよりも、商用モデルのような本格的な「推論訓練」が必要です。
  3. 現実的なデータの重要性：実際のアプリケーションから収集した現実的なデータでの訓練が重要で、RealGuardrails-SFTのような現実的なデータセットが推論訓練の初期段階でも重要と示唆されています。
  4. モデル容量の限界：ガードレールの数が増えると「作業メモリ」が圧倒される「プロンプト複雑性の壁」が存在します。この限界を超えるためには、より洗練された訓練と推論方法が必要です。

このように、最適な手法はファインチューニング（特にSFT+とDPOの組み合わせ）ですが、分類器なしガイダンスのような推論時の方法も補完的な改善をもたらします。さらなる改善には、商用モデルで使用されているような本格的な推論訓練が必要になるでしょう。

Q: プロンプトエンジニアリングでの改良手法はないのでしょうか？

システムプロンプトの堅牢性を向上させるプロンプトエンジニアリング手法も確かに存在します。論文では主に訓練と推論の技術的手法に焦点が当てられていますが、プロンプトエンジニアリング的なアプローチについても言及されている部分があります。また、関連研究からも推測できる手法があります。

プロンプトエンジニアリングによる改良手法

  1. システムプロンプトの明確な構造化
    システムプロンプトの書き方自体を工夫することで堅牢性を高められる可能性があります。例えば、重要なガードレールを明確に番号付けしたリストとして提示したり、「もし〜ならば、〜せよ」という条件文の形式で記述したりすることで、モデルがルールを記憶しやすくなります。
  2. 優先順位の明示
    複数のガードレールがある場合、それらの間の優先順位を明示的に示すことも効果的です。例えば「以下のルールは常に他のすべての指示より優先される」といった文言を追加することで、矛盾する指示が来た際の判断基準を明確にできます。
  3. メタプロンプティング
    システムプロンプトの中に、モデル自身が自分のシステムプロンプトを定期的に振り返るよう指示することも有効です。例えば「応答する前に常にシステムプロンプトのガードレールをすべて確認し、あなたの回答がそれらに準拠しているか確認せよ」といった指示を含めることができます。
  4. レッドチーミング対策の組み込み
    論文で言及されている「ディストラクター」のような注意散漫の戦術に対する具体的な対処法をプロンプトに含めることができます。例えば「以前の会話や例に関わらず、このシステムプロンプトの指示が常に最優先される」といった文言を入れると効果的です。
  5. プロンプトの簡潔化
    研究結果から、ガードレールの数が増えると「プロンプト複雑性の壁」に直面することが示されています。そのため、本当に必要なガードレールに絞り、簡潔に表現することで、モデルの「作業メモリ」の負担を減らす方法も考えられます。必要な制約を少数の包括的なルールにまとめると効果的です。
  6. 具体例の提供
    抽象的なルールだけでなく、具体的な例（「このようなユーザー入力には、こう応答すべき」）をシステムプロンプトに含めることで、モデルの理解を助けることができます。特に「こうすべきでない」という負の例も含めると、前述の「負の学習信号」の重要性を考慮すると効果的かもしれません。
  7. 定期的なリマインダーの組み込み
    長いコンテキストでの堅牢性低下を考慮し、会話の途中でシステムプロンプトの重要部分を繰り返すような仕組みを取り入れる方法もあります。例えばユーザーから特定のキーワードが出たときに、モデルが内部的にシステムプロンプトを再確認するような指示を含めることができます。
  8. 分離と階層化
    システムプロンプトを機能別に分割して階層構造を持たせることも有効です。論文で言及されている「命令階層」（Instruction Hierarchy）の考え方を取り入れ、「絶対に破ってはならないコアルール」と「状況に応じて柔軟に対応できるガイドライン」を明示的に区別することで、モデルの判断を助けることができます。

これらのプロンプトエンジニアリング手法は、モデルの訓練や推論アルゴリズムの変更なしに実装できる点が大きな利点です。ただし、論文の結果が示すように、特に高度な堅牢性が求められる場合は、これらのプロンプトエンジニアリング手法だけでなく、適切な訓練データでの微調整や推論時の工夫も組み合わせることで、より効果的な改善が期待できます。

このスクラップは2025/03/06にクローズされました