🎛️

表現操作で人間の好みにLLMを合わせるRLなし低コスト整列に関する論文を一緒に読みましょう！

に公開
engineering
llm
RLHF
DPO
representation
idea

RAHF: 表現操作で“人間の好み”にLLMを合わせる──RLなし低コスト整列

この記事は，「自分の理解を深めたい」という気持ちで書いています．読者のみなさんと同じ目線で，一緒に理解を育てていくスタイルです．僕の理解が及ばない部分があれば，優しく教えていただけると幸いです！

TL;DR

  • RAHF は，表現工学（RepE）の発想で，LLM内部の活性パターンの差（好ましい/好ましくない）を抽出し，LoRAでその差に合わせて表現を微調整する整列手法．RL不要・実装が簡潔・計算軽量が売り．
  • 2系統：①RAHF-SCIT＝単一モデルを対照命令（good/bad）で整列，②RAHF-Dual＝好ましい/好ましくない応答で2モデルを別々に整列．どちらも活性の差ベクトルで最終モデルを調整する．
  • Open LLM Leaderboard（6タスク）/AlpacaEval/MT-Bench の自動評価＋人手評価で，RLHFやDPO/HIRなどのRLフリー系と比較し，広く優位または同等以上．

背景

  • “表現（内部活性）”という視点の台頭
    最近は，LLM の内部表現を直接いじることで，ふるまいを低コスト・局所的に制御する
    Representation Engineering（RepE）やActivation Steeringが注目されている．
    直感はシンプルで，同じ入力でも“望ましい刺激”と“望ましくない刺激”で脳内（モデル内）の活性パターンが異なるなら，
    その“差”の方向にモデルを少し寄せれば，望ましいふるまいに近づくはず，という発想．

  • 従来の整列（Alignment）の主流＝RLHF は重くて不安定
    人間の好み（選好）に合わせる代表手法は RLHF（報酬モデル→PPO）だが

    1. 報酬モデルの訓練と安定化が難しい
    2. 反復学習で計算コストが高い
    3. 報酬過適合や報酬ハッキングで挙動がブレやすい

  • RLフリー整列（DPO/HIR 等）にも弱点
    DPO のようなRL不要の手法は実装が簡単で人気ですが，

    1. ペアラベルのノイズやデータ分布の偏りに影響を受けやすい
    2. 目的関数が表層的なトークン確率に縛られ，内部表現の“何を変えたか”が不透明

提案

  • ポジショニング（どこが新しいか）

    • 目的が“表現の方向合わせ”：DPO のように出力確率だけを押し上げるのではなく，
      “望ましい状態の内部活性” そのものにモデルを合わせ込む．
    • 低コスト＆シンプル：LoRA の追加だけで済み，学習も安定しやすい．
    • 一般能力の維持：表現を局所的に微調整することで，汎用ベンチ（MMLU/TruthfulQA など）も
      極端に落とさず，むしろ改善するケースが示されている．

  • なぜ“差分ベクトル”が効くのか（直観）
    望ましい応答のときモデル内で強く立ち上がるニューロン群（特徴）と，
    望ましくない応答で立つ群は統計的に別の方向を向くことが多い．
    この方向差を「好みステアリング方向」と見なし，少量の LoRA でそこへ寄せると，
    大規模 RL を回さずに“好み”の側へふるまいを押し出せる．

「RLHF は重い」「DPO は表層的になりやすい」 というギャップに対し，
内部表現の“差”を学んで LoRA で合わせ込むという，
低コストで説明可能性のある整列ルートを提示したのが RAHF です．

手法（RAHFの3ステップ）

Figure2

  • 好み整列のRepE化：LLMを好み指示で刺激して活性差を抽出し，その差にLoRAで合わせ込む“表現編集による整列”を確立．
  • 2つの整列前段
    1. まず “好み”をわかるモデル（または設定） を用意（前段）：
      • SCIT：同一モデルに good/bad の対照命令で好みを教え込む
      • Dual：好ましい応答と好ましくない応答で2モデルを別々に SFT
    2. つぎに同じ応答に good/bad 刺激を与えて各層の活性差（ステアリング方向） を測る
    3. LoRA の極少パラメータで活性をその差方向へ寄せる（MSE 整列）．
      これにより，RL なし・小規模更新で，好みに沿った挙動へ安定に寄せることを狙う

1) 「好み」をモデルに教える（前段整列）

  • RAHF-SCIT（Single-Model, Contrastive Instruction Tuning）
    good/bad の対照命令で同一モデルを学習し，好ましい/好ましくないを相対確率で近づけ/遠ざける：

    \mathcal{L}=-\sum \Big[\;P^+ + \log \frac{e^{P^+}}{e^{P^+}+e^{P^-}}\;\Big],\ \ P^\pm=\log\pi(r\mid p^\pm,q)

  • RAHF-Dual（Dual-Model, Supervised）
    同じクエリに対し，好ましい応答で好モデル，好ましくない応答で悪モデルを別々にSFT：

    \theta_h^*=\arg\max\sum\log\pi(r_h\mid q),\quad \theta_l^*=\arg\max\sum\log\pi(r_l\mid q)

2) 活性パターンの収集（差ベクトル）

  • 同一の応答 r に good/bad 刺激 p^+,p^- を連結して入力し，各層の隠れ状態を抽出．好み条件の差を層ごとに計算：

    v_l = A_{p^+,\pi,l}-A_{p^-,\pi,l}

    （SCITは同一モデル，Dualは好/悪モデルで取得）

3) LoRAで“差”に合わせる（最終モデル構築）

  • LoRA出力を元の活性に足して差ベクトル方向へMSE整列：

    \mathcal{L}_{\text{Align}}=\left\|A_{p,\pi_{\text{LoRA}},l}-\big(A_{p,\pi_{\text{base}},l}+\alpha v_l\big)\right\|_2^2

    係数 \alpha は介入強度，対象層（例：10,20,2） で操作．

4) 推論時の使い方

最終モデルは LoRAを合成（または適用）した1モデルとして振る舞うので，特別な“good/bad命令”や補助プロンプトは不要．通常のプロンプトで望ましい側へ挙動が寄った応答が返る，という位置づけ（RL は用いない）．

実験設定（抜粋）

  • データ：UltraFeedback（好みペア），ベースは LLaMA2-7B を Helpful&Harmless でSFTしたモデル．
  • 比較：Preferred-SFT / HIR / DPO / RLHF-PPO．
  • 評価：Open LLM Leaderboard（Arc/HellaSwag/MMLU/TruthfulQA/Winogrande/GSM8k），AlpacaEval（GPT-4判定），MT-Bench，人手評価．

主な結果

Open LLM Leaderboard

Figure3

  • RAHF-SCIT が平均+2.33pt向上（Base比）．TruthfulQA で両RAHFが全ベースラインを上回る．

AlpacaEval（GPT-4審査）

Figure4

  • 勝率：RAHF-SCIT 87.44%／RAHF-Dual 86.98% ＞ DPO 83.68%．

MT-Bench

Figure5

  • 8側面中6側面で最高，平均でも上位．推論・ロールプレイ・STEMで特に強み．

人手評価

Figure6

  • RAHF vs RLHF/DPO/HIR：勝>引分>負で優勢（両方式）．

アブレーション（RepEのみとの比較）

Figure7

  • LORRA / LORRA-Pref（前段整列なしの表現編集）より，RAHFの前段整列＋差ベクトル学習が有意に効く．

直感で掴む：なぜ効く？

  • 同じ応答でも good/bad 刺激で内部活性が変わる → その差分方向へ表現を少量のLoRAで寄せるから，挙動を低コストに整列できる．
  • SCITは同一モデル内で差を取るため表現空間のズレが少ない（Dualより有利な場面あり）．

限界と注意点

限界（論文が明記）

  • スケールの限定：有効性の検証は7B規模のLLMに限られています．より大規模SOTAへの拡張は今後の課題．
  • LoRAによる追加パラメータ：最終モデルは差ベクトルをLoRAで近似する設計のため，少量ながら追加パラメータが入ります．将来は差ベクトルをモデルに直接統合してコストをさらに下げる方向を提案．

注意点（設計・運用で気をつけるところ）

  • どの層を操作するか：中間層での操作が最も有効．上位層に近いほど同じαでも既存表現への影響が大きく，RAHF-DUALでは特に劣化しやすい．
  • どのトークンの表現を使うか：RAHF-DUALは応答の先頭64トークンのみでLoRAを学習（後半は指示の影響が薄れて性能が落ちやすいと観察）．長文応答では先頭寄りの表現に重みを置く前提を理解しておく．
  • 評価の前提：自動評価の一部（AlpacaEval/MT-Bench）はGPT-4を審査者として用いる設計で，「人手評価と高相関」とは言えLLM-as-judge バイアスの余地はある．実運用では人手評価も併用して検証を．
  • データ品質への依存：RAHFは“報酬なし”整列ですが，好みペアのノイズや偏りは依然リスク．RL（報酬学習）はノイズを報酬関数で緩和できる一方，報酬なし整列はノイズの影響を受けやすいという一般的な性質を踏まえ，学習データのクリーニングは重要．

まとめ

  • RAHF = “好み刺激で生じる活性差”を捉え，LoRAでそこへ寄せる．
  • RLなしで実装容易，DPO/RLHFと競合しうる整列手段として有望．まずはSCITから試し，差ベクトルの抽出長・層・\alpha を軽くスイープ，TruthfulQA/AlpacaEval/MT-Benchで自動＋人手評価するのが実務向けの入り口．

参考（論文情報）

  • タイトル：Aligning Large Language Models with Human Preferences
    through Representation Engineering
  • 著者：Wenhao Liu, Xiaohua Wang, Muling Wu, Tianlong Li, Changze Lv
    Zixuan Ling, Jianhao Zhu, Cenyuan Zhang, Xiaoqing Zheng∗, Xuanjing Huang
  • 年：2025
  • ACL Anthology： リンクはこちら
GitHubで編集を提案

Discussion