新人がAIハルシネーションを心配するのは当然、米ウィスコンシン大学・マサチューセッツ工科大学が示す心理メカニズム

若手のSEからAIのハルシネーションを心配していると話を伺い、これは興味深いなと・・恐らく新人はAIを検索エンジンの延長と誤解しているのではと。

調べてみると、米ウィスコンシン大学の研究者が arXivに掲載された初学者研究では、大学生や若手エンジニアが「AIはデータベースから正しい答えを検索し、見つからないときに作り話をする」と誤解している例が多数報告されました。

これは、従来の検索エンジンの利用経験が強く影響しており、AI＝正しい情報を返すものという前提が無意識に形成されるためのようです。

しかし実際の生成AIは統計的にもっともらしい文章を生成するモデルであり、事実の正確性を保証する仕組みではなく、このギャップが、新人に「間違う＝危険」「誤答＝壊れている」と感じさせ、不安を増幅させます。

研究でも、初学者ほどAIの仕組みを誤解しやすく、誤答を「異常」と捉える傾向が強いことが示されています。

つまり新人教育ではまず、AI は検索エンジンではなく、確率モデルであるという理解を与えることが、ハルシネーションへの過度な恐怖を和らげる第一歩になりますが、少し深堀してみたいと思います。

＊新人さん配属されてくると華やかですね

参考：“Mental Models of AI: Misconceptions Among Novice Users”（arXiv, 2024）

自信満々に間違うAIが新人の不安を増幅する理由

Nature系の大規模研究では、AIアプリのユーザーレビュー約300万件を分析した結果、最も多く報告された問題が 「もっともらしいが間違った回答(confident but wrong)であることが明らかになりました。

生成AIは、誤答を出すときほど断定的な表現を使う傾向があり、マサチューセッツ工科大学(MIT)の研究では誤答時に「definitely」「certainly」などの強い断言語が34%多く出現することが示されています。

新人SEはまだ「AIの回答を疑う経験値」が少ないため、自信満々の誤答を危険信号として強く受け取る傾向があるようです。

これは心理学的には「確信ヒューリスティック」と呼ばれ、人間は自信のある口調＝正確と無意識に結びつけてしまう為になります。

結果として新人はAIの誤答そのものよりも、自信満々に間違うという振る舞いに恐怖を感じる、これは研究でも確認されており、初学者ほどAIの断定的な口調に影響されやすく、誤答を過大評価する傾向が強いとされています。

新人教育では、AIの口調と正確性は無関係・・・という事実を明確に伝えることが、過度な不安を軽減する効果があるでしょう。

参考：Large-scale Analysis of User Reports on AI Hallucinations（Nature Human Behaviour, 2024）
参考：MIT CSAIL: LLMs Are Most Confident When They Are Wrong（2025）

ハルシネーションは構造的に避けられない（OpenAI 研究）

OpenAI と Georgia Tech の共同研究(2025)では、生成 AI のハルシネーションは「モデルの構造上、数学的にゼロにはできない」ことが証明されています。

LLMは、入力に対して最も確からしい次の単語を確率的に生成する仕組みであり、情報が不完全な場合や曖昧な場合には、必然的に推測を行います。

この推測が誤答につながるため、ハルシネーションは「バグ」ではなく構造的な性質なのです。

新人SEはこの構造的必然性を知らないため、AIの誤答を「危険」「信用できない」と極端に捉えがちです。

しかし研究では、ハルシネーションは避けるものではなく、検証しながら使うものであると明確に示されています、さらにOpenAIの研究ではモデルを高度化してもハルシネーションは完全には消えず、むしろタスクによっては増えることもあると報告されています。

新人教育では、「AIは間違うが、それは壊れているのではなく、そういう仕組みなんだ」という事実としての理解を与えることが重要、過度な恐怖ではなく、適切な距離感でAIを扱えるようになるでしょう。

参考：On the Inherent Hallucination of Large Language Models（OpenAI × Georgia Tech, 2025）https://openai.com/research

参考：Language Models are Unavoidably Wrong Sometimes（arXiv, 2024）

まとめ

新人SEがAIのハルシネーションを過度に心配するのは、研究的にも自然な反応とされています。

「AI は検索ではなく確率モデルである」ことを理解させ、次に「AI の口調と正確性は無関係」である点を示すことが重要。

そしてハルシネーションをゼロにするのではなく、検証しながら安全に使う姿勢を身につけさせることが、実務での安心感と適切な距離感につながると思います。