📖

LLMと強化学習の融合：強化学習コース(10/N)

に公開
強化学習
LLM
RLHF
アライメント
idea

はじめに

前回の記事では、Actor-Critic法について学びました。方策勾配法と価値関数学習を組み合わせることで、効率的で安定した学習を実現する手法を理解しました。これまでのシリーズで、強化学習の基礎理論を体系的に学んできました。

本記事では、これまで学んだ強化学習の理論が、現代の最先端AI技術である大規模言語モデル（LLM） でどのように活用されているかを解説します。特に、ChatGPTやClaudeなどの対話型AIの学習に使われているRLHF（Reinforcement Learning from Human Feedback） の仕組みを理解します。

これまでのシリーズで学んだ内容は以下の通りです。

  • 第1回 - 強化学習の全体像と問題設定
  • 第2回 - 環境側の定式化（マルコフ決定過程）
  • 第3回 - エージェント側の概念とプランニングアルゴリズム（価値反復法）
  • 第4回 - モデルフリー学習とモンテカルロ法
  • 第5回 - 時間差分学習とTD誤差
  • 第6回 - 多段階TD学習とEligibility Trace
  • 第7回 - 関数近似による価値関数学習
  • 第8回 - 方策勾配法の基礎理論
  • 第9回 - Actor-Critic法
  • 第10回（本記事）- LLMと強化学習の融合

LLMの学習における課題

従来の学習手法とその限界

事前学習とファインチューニング

現在のLLMは、主に2段階の学習プロセスを経て構築されます。

事前学習（Pre-training） では、数兆トークンに及ぶ膨大なテキストデータを用いて、次トークン予測タスクを学習します。この自己教師あり学習により、モデルは言語の統計的パターンと汎用的な知識を獲得します。

教師あり微調整（Supervised Fine-Tuning: SFT） では、人間が作成した高品質なプロンプト-レスポンスペアを用いて、モデルを特定のタスクや指示に従わせるように調整します。

最大尤度推定の問題点

SFTで使用される最大尤度推定には、いくつかの根本的な問題があります。

露出バイアス（Exposure Bias） は、訓練時と推論時の条件の違いから生じる問題です。訓練時にはモデルは常に正解のトークン列を条件として次のトークンを予測しますが、推論時には自身が生成したトークンを条件として使用します。この違いにより、小さな誤りが累積的に増大する可能性があります。

価値観の不整合も重要な問題です。統計的に最も可能性の高い出力が、必ずしも人間にとって最も望ましい出力とは限りません。インターネット上のテキストには偏見、誤情報、有害なコンテンツが含まれており、単純な尤度最大化はこれらの望ましくない特性も学習してしまいます。

アライメント問題

HHH原則

LLMの開発において最も重要な課題の一つがアライメント問題です。これは、AIシステムの行動を人間の価値観、意図、好みと整合させる問題を指します。

アライメント問題は、以下の3つの原則（HHH原則）に集約されます。

  1. Helpful（役立つ） - ユーザーの意図を正確に理解し、有用な情報や支援を提供すること
  2. Harmless（無害） - 差別的、攻撃的、違法なコンテンツを生成しないこと
  3. Honest（正直） - 事実に基づく情報を提供し、不確実性を適切に表現すること

これらの原則は相互に矛盾する場合があります。例えば、ユーザーが有害な情報を求めた場合、「役立つ」ことと「無害」であることの間にトレードオフが生じます。

なぜ強化学習が必要か

人間の価値観は複雑で、文化的背景や個人差によって大きく異なります。さらに、多くの価値判断は文脈依存的であり、単純なルールベースのアプローチでは対応できません。

強化学習は、人間のフィードバックを直接的に学習プロセスに組み込むことで、この複雑な価値観の学習を可能にします。人間が実際のモデル出力を評価し、その評価を報酬信号として用いることで、暗黙的な価値観や判断基準を学習できるのです。

テキスト生成の強化学習定式化

マルコフ決定過程としてのテキスト生成

これまでのシリーズで学んだマルコフ決定過程（MDP）の枠組みを、テキスト生成に適用します。LLMのテキスト生成プロセスは、以下のようなMDPとして定式化できます。

状態空間 \mathcal{S}：各状態 s_t = (x, y_{<t}) は、入力プロンプトxとこれまでに生成されたトークン列 y_{<t} の組み合わせで表現されます。

行動空間 \mathcal{A}：各行動は語彙表 \mathcal{V} からの次トークンの選択を表します（通常50,000〜100,000トークン）。

状態遷移確率 P：決定論的遷移です。選択されたトークンが確実に既存のトークン列に追加されます。

報酬関数 R：通常、シーケンス完了時にのみ報酬 R(x, y) が与えられます。これは文章全体の品質を評価するという実際の使用場面に即したものです。

LLMを方策として捉える

この枠組みにおいて、LLMは方策（policy） \pi_\theta(a_t|s_t) として機能します。これは、現在の状態（プロンプトと生成済みテキスト）を入力として、次のトークンの確率分布を出力するものです。

\pi_\theta(a_t|s_t) = \frac{\exp(f_\theta(s_t, a_t))}{\sum_{a' \in \mathcal{A}} \exp(f_\theta(s_t, a'))}

ここで、f_\theta はパラメータ \theta を持つニューラルネットワーク（Transformer）です。a_t, a' \in \mathcal{A} は行動空間（語彙集合）の要素、つまり可能なトークンを表します。

この定式化により、第8回で学んだ方策勾配定理を直接適用できることがわかります。期待累積報酬を最大化する最適方策を見つけることが目標となります。

RLHF（Reinforcement Learning from Human Feedback）

RLHFの全体像

RLHFは、人間のフィードバックを用いてLLMを学習する手法です。主に3つのステップから構成されます。

  1. 教師あり微調整（SFT） - 高品質なデータでモデルを初期化
  2. 報酬モデルの学習 - 人間の好みを予測するモデルを構築
  3. 強化学習による最適化 - 報酬モデルを使って方策を改善

報酬モデルの学習

Bradley-Terryモデル

報酬モデルは、プロンプトと応答のペア (x, y) を入力として、その品質を表すスカラー値 r_\phi(x, y) を出力します。通常、事前学習済みのLLMと同じアーキテクチャを使用し、最終層を回帰ヘッドに置き換えて構築されます。

報酬モデルの学習には、Bradley-Terryモデルが広く使用されます。これは、2つの応答に対する人間の選好を確率的にモデル化します。

P(y_1 \succ y_2 | x) = \frac{\exp(r_\phi(x, y_1))}{\exp(r_\phi(x, y_1)) + \exp(r_\phi(x, y_2))}

ここで、y_1 \succ y_2 は「y_1 が y_2 より好まれる」ことを表します。

学習プロセス

報酬モデルの学習は以下の手順で行われます。

  1. 同じプロンプトに対する複数の応答を生成
  2. 人間のアノテーターが応答ペアを比較し、好みを選択
  3. Bradley-Terryモデルに基づく損失関数を最小化
\mathcal{L}_{RM} = -\sum_{(x,y_w,y_l) \in D} \log \sigma(r_\phi(x, y_w) - r_\phi(x, y_l))

ここで、D は人間による比較データセット、y_w は好まれる応答、y_l は劣る応答、\sigma はシグモイド関数です。

強化学習による方策最適化

目的関数の設計

報酬モデルが学習されたら、強化学習を用いて方策を最適化します。単純に報酬を最大化するだけでは、モデルが報酬モデルの脆弱性を悪用する「報酬ハッキング」が発生する可能性があります。

そこで、以下のような目的関数を使用します。

\mathcal{J}(\theta) = \mathbb{E}_{x \sim D, y \sim \pi_\theta(\cdot|x)}[r_\phi(x, y)] - \beta \cdot D_{KL}[\pi_\theta || \pi_{ref}]

ここで、\pi_{ref} は参照方策（通常はSFT後のモデル）、D_{KL} はKullback-Leiblerダイバージェンス、\beta は正則化の強さを制御するハイパーパラメータです。

KL正則化の役割

KLダイバージェンス項は、Trust Region Policy Optimization（TRPO） の考え方に基づいており、以下の重要な役割を果たします。

言語能力の保持：SFTで獲得した基本的な言語生成能力を保持します。過度に報酬最適化に特化することを防ぎます。

報酬ハッキングの防止：報酬モデルの脆弱性を悪用する極端な出力を抑制します。

学習の安定化：方策の急激な変化を防ぎ、学習を安定させます。

この制約付き最適化の考え方は、TRPOで理論的に定式化され、PPOで実用的に実装されています。次回の記事では、なぜこのような制約が必要なのか、TRPOからPPOへの発展について詳しく解説します。

実践的な実装の考慮点

効率的なサンプリング

LLMの強化学習では、サンプリング効率が重要な課題となります。各サンプル（文章生成）には大きな計算コストがかかるためです。

オンポリシー vs オフポリシーの選択が重要です。PPOなどのオンポリシー手法は安定性が高いですが、サンプル効率が低くなります。一方、オフポリシー手法はサンプル効率が高いですが、安定性の確保が課題となります。

バッチサイズとメモリ管理も考慮が必要です。大規模なLLMでは、単一のGPUに収まらないため、分散学習が必須となります。

報酬モデルの課題

分布シフトの問題

報酬モデルは、学習時のデータ分布でのみ正確な予測を保証します。強化学習によって方策が更新されると、生成される文章の分布が変化し、報酬モデルの予測精度が低下する可能性があります。

この問題に対処するため、以下のアプローチが使用されます。

反復的な報酬モデルの更新：強化学習の過程で生成された新しいサンプルを用いて、報酬モデルを定期的に再学習します。

保守的な報酬推定：不確実性の高い領域では、報酬を保守的に推定することで、過度な楽観性を防ぎます。

人間のフィードバックの質

報酬モデルの品質は、人間のフィードバックの質に大きく依存します。アノテーター間の一貫性、文化的バイアス、疲労による品質低下などが課題となります。

アノテーションガイドラインの整備、品質管理プロセスの確立、多様なアノテーターの確保などが重要です。

まとめ

理論と実践の統合

本記事では、これまでのシリーズで学んだ強化学習の理論が、LLMの学習にどのように応用されているかを見てきました。

マルコフ決定過程の枠組みがテキスト生成に自然に適用できること、方策勾配法の理論がRLHFの基礎となっていることを理解しました。これらの基礎理論が、人間のフィードバックを取り入れた学習という新しいパラダイムを可能にしています。

強化学習がもたらす価値

LLMにおける強化学習の導入は、以下の重要な価値をもたらしています。

人間の価値観の学習：明示的にプログラムすることが困難な人間の価値観や好みを、フィードバックを通じて学習できます。

柔軟な最適化：文章全体の品質など、局所的な最適化では達成困難な目標を直接最適化できます。

継続的な改善：新しいフィードバックを取り入れることで、モデルを継続的に改善できます。

今後の展望

LLMと強化学習の融合は、まだ発展の初期段階にあります。今後の重要な研究方向として以下が挙げられます。

マルチモーダルへの拡張：テキストだけでなく、画像や音声を含むマルチモーダルな入出力への対応が進んでいます。

推論能力の向上：OpenAI o1やDeepSeek-R1のように、強化学習を用いて複雑な推論能力を獲得する研究が活発化しています。

個人化とカスタマイズ：ユーザーごとの好みや価値観に適応する、パーソナライズされたLLMの実現が期待されます。

次回予告：PPOアルゴリズムの詳細

次回の記事では、RLHFで最も広く使用されているPPO（Proximal Policy Optimization） アルゴリズムについて詳しく解説します。

まず、PPOの理論的基盤となるTRPO（Trust Region Policy Optimization） から始めます。なぜKL制約が必要なのか、信頼領域の考え方がどのように方策の安定的な改善を保証するのかを理解します。そして、TRPOの計算上の課題をどのようにPPOが解決したのかを見ていきます。

具体的には以下の内容を扱います：

  • TRPOの理論的定式化とKL制約の必要性
  • TRPOからPPOへの発展と近似手法
  • PPOがなぜLLMの学習に適しているのか

強化学習の基礎理論を理解した今、その知識を最先端のAI技術にどのように活用できるか、さらに深く探求していきましょう。

Discussion