大規模言語モデル2024 第2回

• 言語モデル・・・単語の系列（文章）の生成確率を割り当てる確率モデルp
• 自己回帰言語モデル・・・確率の連鎖率で分解したモデル。最後の単語だけの確率が求められるので、続きを生成できる。

• 確率を求めるのにニューラルネット→transformer
• プロンプティング
  • Few shot Prompting
    • 答えの例を教える、文脈内学習とも呼ばれる
    • 入れれば入れるほど精度が上がり、事前学習に匹敵する性能がでるという研究結果も
  • Chain of Thought（CoT） Prompting（思考の連鎖プロンプティング）
    • 思考の過程を教える
    • モデルサイズが大きいときに効果がでる傾向
  • Zero shot CoT
    • "Let's think step by step"を加えるだけ
      • 他の文章いろいろ試した結果、この文が一番良かった
    • 事前に教えないがステップ踏んで、とだけ指示する
      • 性能上がるタスクもあれば、考えすぎて下がるケースも
  • Zero shot CoTの改善
    • プロンプトを探索させる
    • 計画を立てて実行せよ、必要な変数は保持せよ

Decodingの工夫。

• Self Consistency
  • 複数回答させて多数決で決める
• Tree of Thoughts
  • 推論を複数実行