InstructGPTで用いられている強化学習手法について

概要

ChatGPT-3.5のベースとなっていると思われるInstructGPT[1]。ここで用いられているRLHF(Reinforcement Learning from Human Feedback)[3]手法の内容について概観する。

強化学習におけるpolicy最適化手法の一つで、学習を安定化させるために更新前のpolicyの分布との乖離に対してペナルティを追加する[4]。

InstructGPTの論文[1]によると、以下の3ステップで学習している。

PT(Pre-Training): next token予測
SFT(Supervised Fine-Tuning): 人間による問答の良し悪しについての評価ラベルを付加し、教師あり学習によりfine tuning
RL(Reinforcement Learning): 人間の評価を学習した評価モデルを用いて強化学習する

論文では3において2通りのパターンの学習スキームを採用している。

a. PPO: 2で学習したpolicy（ $\pi_{SFT}$ ）からのKLダイバージェンスをペナルティとして加える
b. PPO-ptx: aのペナルティに加え、pre-training時の確率分布から乖離しないような正則化項を加える。