😽
AIのハルシネーションの原因について簡単に解説してみた
はじめに
2025年9月5日に、OpenAIが言語モデルが誤った情報をもっともらしく生成する「ハルシネーション」の原因を公式ブログで解説していたので、半ば自分用に噛み砕いて解説してみました。
ハルシネーションが起きる2つの段階
ハルシネーションは大きく2つの段階で発生すると研究では説明されています。
1. プレトレーニング(AIに大量の文章を読ませる段階)
- AIはインターネットなどの膨大なテキストから「次に来る言葉の確率」を学びます。
- これは確率計算なので、必ずしも正しい答えだけを学ぶわけではなく、データが正しくても間違いは避けられない仕組みになっています。
→ つまり、出発点から「間違える可能性」は常にある。
2. ポストトレーニング(テストや評価を受けて調整する段階)
- AIは「テストで点を取るように」調整されます。
- ところが今のテスト(MMLUやGPQAなど)は、「分からない」と答えるより「とりあえず答える」方が点が高い設計。
- その結果、AIは自信満々に推測するクセを身につけてしまい、間違った答えを言いやすくなります。
具体例と発見
- 「誕生日は?」「論文のタイトルは?」と聞くと、AIが毎回違う嘘を返すことがある。
- また、一度しか学習データに出てこないような事実は、特に間違えやすいことが分かりました。
解決策の提案
- 新しい難しいテストを作るよりも、「分からない」と答えても減点されない評価方法に変えることが重要。
- さらに「この答えは自信がある/ない」とAI自身が示せる採点方法にすると、推測を無理やりさせることを減らせる。
まとめ
AIの「もっともらしい嘘」は、AIがバカだからではなく、育て方(学習方法)と試験のルールのせいで生まれている。
これを直すには、AIに「分からない」と言う勇気を与えることが必要、というのが今回の研究の結論です。
Discussion