🧠

LLMのハルシネーションは減ったのか？種類別に整理する【前編：対策で減ったもの・残ったもの】

に公開
AI
機械学習
NLP
llm
ハルシネーション
idea

はじめに

LLMは明らかに賢くなった。

GPT-3の時代と比べれば、現在のモデルが返す回答の質は別物に見える。しかし「ハルシネーションが消えた」とは誰も言わない。むしろ、モデルが高度化するにつれて、ハルシネーションの性質が変化し、場合によっては悪化しているケースすら報告されている。

この記事では、LLMのハルシネーションを種類ごとに分類したうえで、モデルの進化によって**「減ったもの」「あまり減っていないもの」**を整理する。

後編では「むしろ増えた・悪化したもの」と「評価設計が生む根本問題」を扱う。

ハルシネーションを「1つの問題」として扱わない

まず重要な前提として、「ハルシネーション」は1種類ではない。これを一括りにすると、「対策が効いた理由」も「残り続ける理由」も説明しにくくなる。

以下の分類を念頭に置いておくと、記事全体の話が整理しやすい。

種類 具体例 効きやすい対策
知識の欠落 古い情報、知らない固有名詞 RAG、Web検索統合
根拠のない補完 架空の論文名、存在しないAPI CoVe、引用チェック
推論ミス 数学・コード・論理の誤り CoT、process supervision
関係の向きの誤り A→Bは知っているがB→Aに失敗 データ設計、評価設計
会話由来の同調 ユーザーの間違いに同意してしまう sycophancy対策、プロンプト設計
不確実性の扱い わからないのに答える 棄権設計、不確実性の明示訓練

この分類を踏まえたうえで、各セクションを読んでほしい。

① 減ったもの：「知識の穴」を塞ぐ技術の成熟

RAGによるグラウンディング

RAG（Retrieval-Augmented Generation）は、モデルが回答を生成する際に外部の文書を参照させる手法だ。モデル内部の記憶だけに頼らず、取得した情報を根拠として使うことで、知識の欠落や古い情報に起因するハルシネーションを減らせる。

Lewis et al., "Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks", arXiv:2005.11401

ただし注意が必要なのは、「RAG＝ハルシネーション根絶」ではないという点だ。検索結果を誤読する、複数ソースを混同する、検索でヒットしなかった部分を補完してしまう、といったタイプのハルシネーションは残る。RAGは「知識アクセスの問題」には効くが、モデルが生成する過程での誤りには直接効かない。

Web検索統合による時制ズレの改善

GPT-3系の頃に顕著だった「時制ズレ」——モデルが過去の情報を現在のこととして話す問題——は、Web検索統合によって改善の方向に向かった。

RAGの考え方をリアルタイム検索に応用したもので、カットオフ以降の出来事についても外部情報を参照できるようになった。ただしRAGと同様に、「取得した検索結果の解釈ミス」や「複数ソースの混同」は残る。「外部情報を使った間違い」は、「内部知識からの間違い」より発見しにくいという側面もある。

CoVe：回答を「検証対象」として扱う

CoT（Chain-of-Thought）はよく「ハルシネーション対策」として語られるが、これは正確ではない。CoTは「答える前に推論ステップを踏ませる」技術であり、複雑な論理問題には効果的だが、事実の正確さを保証するものではない。もっともらしい誤った推論過程を長く出力することもある。

ハルシネーション対策としてより直接的なのは、CoV（Chain-of-Verification）だ。

Dhuliawala et al., "Chain-of-Verification Reduces Hallucination in Large Language Models", ACL Anthology, 2024

CoVの流れはこうなる。

  1. 初期回答を生成する
  2. その回答を検証するための質問を自分で作る
  3. それらの質問に独立して答える
  4. 検証結果を踏まえて最終回答を更新する

初期回答を「そのまま出力する答え」ではなく「検証される対象」として扱うことで、事実誤認を減らす。実験では複数のタスクでハルシネーションの減少が報告されている。

ただしCoVも根絶ではない。推論ステップ自体がハルシネーションを含む場合には弱いという限界がある。

アライメント手法による応答傾向の改善

RLHF（人間フィードバック強化学習）やConstitutional AI（CAI）といったアライメント手法は、モデルの出力傾向を「人間にとって望ましい応答」に寄せる訓練だ。

Bai et al., "Constitutional AI: Harmlessness from AI Feedback", Anthropic, 2022

CAIはAnthropicが提案した手法で、人間が用意した原則に基づき、AI自身のフィードバックを使って主に有害性を下げる方向にモデルを調整する。

ただし重要な注意点がある。これらのアライメント手法は「人間にとって望ましい応答」への最適化であり、それが必ずしも「事実性の最大化」とイコールではない。この点は後編のsycophancyの話に直結する。

「減ったもの」の共通点

改善されたハルシネーションに共通しているのは、**「知識アクセスや情報の鮮度に関わる問題だった」**という点だ。外部情報を参照させる、推論ステップを明示させる、応答傾向を調整する——これらの対策は「外から補う」アプローチとして機能した。

言い換えれば、「モデルの外側で解決できた問題」は減った。

② あまり減っていないもの：構造・評価・会話文脈に由来する問題

Reversal Curse：汎化の非対称性

2023年にarXivで公開され、ICLR 2024に採択された論文が示したのが「Reversal Curse」だ。

Berglund et al., "The Reversal Curse: LLMs trained on 'A is B' fail to learn 'B is A'", arXiv:2309.12288

「AはBだ」という形で学習しても、「BはAか？」という逆向きの問いには正しく答えられない——という汎化の失敗を指す。例えば「マリー・キュリーはノーベル物理学賞受賞者だ」と学習しても、「ノーベル物理学賞を受賞した女性科学者は誰か？」には答えられないケースが起きる。

これは単純な「知識量の不足」ではない。「ある向きで学習した関係を、逆向きに使えるとは限らない」という汎化の問題として捉えるのが正確だ。

自己回帰型LLMの訓練・汎化の特性に関わる問題であり、スケールを増やせば消えるという性質でもない。2025年時点でも最先端モデルがこの問題を抱えていることは確認されている。

2026年2月の研究では「Identity Bridge」という手法で一部の条件下では改善できることが示されたが、長いトークンの名前では精度が大きく落ちるなど、根本解決には至っていない。

Sycophancy：人間のフィードバックが再生産する問題

Sycophancyは「媚び」と訳されることが多い。ユーザーが間違った主張をしても同調してしまう、褒められると回答を変えてしまう、といった傾向だ。

Sharma et al., "Towards Understanding Sycophancy in Language Models", arXiv:2310.13548, Anthropic, 2023

Anthropicの研究では、RLHFによる訓練が「真実性よりもユーザーの信念に合う応答」を好む方向に働き、sycophancyを促す可能性が実証されている。5つの主要AIアシスタントすべてで一貫してこの傾向が確認された。

より細かい問題も明らかになってきた。

"Challenging the Evaluator: LLM Sycophancy Under User Rebuttal", ACL Anthology, EMNLP 2025

同じ矛盾する意見を「同時に提示」されると正しく判断できるのに、「会話の流れの中で後から反論」されると途端に同調しやすくなる。しかも、誤った反論であっても詳細な理由が付いていると説得されやすく、フォーマルな批判よりもカジュアルな表現のフィードバックの方が揺さぶられやすいという逆説的な結果も報告されている。

Sycophancyが減りにくい理由はここにある。これはモデル単体の知識不足という問題ではなく、人間の選好・会話文脈・報酬設計が絡む問題だ。データを増やすだけでは消えない。

「高評価に反応してしまう」問題は、「人間がそう評価を与え続けている」という構造がある限り、フィードバックループとして再生産され続ける。

「あまり減っていないもの」の共通点

Reversal CurseもSycophancyも、「外から補う」アプローチが効きにくい。

  • Reversal Curse*1は訓練時の汎化の非対称性から来るため、検索やCoVeでは対処できない
  • Sycophancy*2は「人間の評価を最大化する」という訓練の仕組み自体に埋め込まれている

RAGを使っても、CoVeを使っても、**これらは「モデルの内側にある構造の問題」**として残り続ける。

まとめ（前編）

種類 改善されたか 主な理由
知識の欠落・時制ズレ ✅ 改善 RAG、Web検索統合
根拠のない補完 🔺 部分的改善 CoVe、アライメント改善
推論ミス 🔺 部分的改善 CoT（ただし事実性は保証しない）
Reversal Curse ❌ ほぼ残存 汎化の構造的問題
Sycophancy ❌ ほぼ残存 RLHFの設計に由来

減ったのは主に「知識アクセスの問題」だった。残ったのは「訓練の構造・会話の文脈・評価設計に由来する問題」だ。

後編では、「Reasoning Model（推論モデル）でむしろ増えたケースがある」という逆説と、その根本にある「評価指標がハルシネーションを温存する仕組み」を整理する。

参考文献

Discussion