😽

AIのハルシネーションの原因について簡単に解説してみた

に公開

はじめに

2025年9月5日に、OpenAIが言語モデルが誤った情報をもっともらしく生成する「ハルシネーション」の原因を公式ブログで解説していたので、半ば自分用に噛み砕いて解説してみました。

ハルシネーションが起きる2つの段階

ハルシネーションは大きく2つの段階で発生すると研究では説明されています。

1. プレトレーニング(AIに大量の文章を読ませる段階)

  • AIはインターネットなどの膨大なテキストから「次に来る言葉の確率」を学びます。
  • これは確率計算なので、必ずしも正しい答えだけを学ぶわけではなく、データが正しくても間違いは避けられない仕組みになっています。
    → つまり、出発点から「間違える可能性」は常にある。

2. ポストトレーニング(テストや評価を受けて調整する段階)

  • AIは「テストで点を取るように」調整されます。
  • ところが今のテスト(MMLUやGPQAなど)は、「分からない」と答えるより「とりあえず答える」方が点が高い設計。
  • その結果、AIは自信満々に推測するクセを身につけてしまい、間違った答えを言いやすくなります。

具体例と発見

  • 「誕生日は?」「論文のタイトルは?」と聞くと、AIが毎回違う嘘を返すことがある。
  • また、一度しか学習データに出てこないような事実は、特に間違えやすいことが分かりました。

解決策の提案

  • 新しい難しいテストを作るよりも、「分からない」と答えても減点されない評価方法に変えることが重要。
  • さらに「この答えは自信がある/ない」とAI自身が示せる採点方法にすると、推測を無理やりさせることを減らせる。

まとめ

AIの「もっともらしい嘘」は、AIがバカだからではなく、育て方(学習方法)と試験のルールのせいで生まれている。
これを直すには、AIに「分からない」と言う勇気を与えることが必要、というのが今回の研究の結論です。

Discussion