AIの嘘がセキュリティリスクになる？OWASP LLM09 Misinformationを初心者向けに解説
はじめに
LLMは、もっともらしい嘘を自信たっぷりに語ることがあります。これは「ハルシネーション」としてよく知られた現象です。大変迷惑です。🥲
多くの人はこれを「精度の問題」「品質の問題」だと考えていると思います。ところがOWASP Top 10 for LLM Applications 2025では、これをセキュリティリスクとして正式に位置づけました。それが LLM09:2025 Misinformation です。
本記事では、なぜAIの嘘がセキュリティの問題になるのか、どんな被害が起きるのか、どう対策するのかを初心者向けに解説します。
Misinformationとは？
Misinformationは、LLMが事実と異なる、あるいは誤解を招く情報を、もっともらしく生成してしまうことで生じるリスクです。
2023年版では「Overreliance（過度の依存）」という名前でユーザー側の問題として扱われていましたが、2025年版では切り口が変わりました。自信に満ちた、しかし事実として誤った出力それ自体を、品質の問題ではなくセキュリティリスクとして扱うようになっています。
Disinformationとの違い
混同しやすいのですが、Misinformation（誤情報）とDisinformation（偽情報）は別物です。
| 用語 | 意味 | 意図 |
|---|---|---|
| Misinformation | 結果的に誤った情報 | 意図しない（AIが間違える） |
| Disinformation | 意図的に広める虚偽情報 | 意図的（人が騙す） |
LLM09が扱うのはMisinformationの方です。攻撃者がいなくても発生する点が特徴です。
なぜ起きるのか
Misinformationが生まれる原因は主に3つです。
① ハルシネーション
LLMは、学習データの知識のギャップを統計的なパターンで埋めます。内容を本当に理解しているわけではなく、「それっぽく続く言葉」を生成しているため、正しそうに見えて根拠のない答えを出すことがあります。
② 学習データの偏り・不足
ハルシネーション以外にも、学習データの偏りや情報の欠落が誤情報につながります。
③ 過度の依存（Overreliance）
ユーザーがLLMの出力を検証せずに信頼すると、誤情報がそのまま重要な意思決定に組み込まれ、被害が拡大します。これが「品質の問題」が「セキュリティの問題」に変わる分岐点です。
具体的なリスクシナリオ
シナリオ①：Slopsquatting（存在しないパッケージの悪用）
LLM09の中でも特にセキュリティ色が濃く、現に悪用されている攻撃です。
AIコーディングアシスタントは、存在しないライブラリ名を自信満々に提案することがあります。攻撃者はこの性質を逆手に取ります。
[攻撃の流れ]
1. 攻撃者が、AIがよく幻覚する（実在しない）パッケージ名を調べる
2. その名前で悪意のあるパッケージをPyPI等に登録しておく
3. 開発者がAIに「〇〇するライブラリ教えて」と聞く
4. AIが実在しないパッケージ名を提案する
5. 開発者が pip install してしまう
→ 攻撃者のパッケージがインストールされる
この攻撃は Slopsquatting（スロップスクワッティング）と呼ばれます。AIの幻覚（slop）を狙う、タイポスクワッティングの亜種です。
実際に2023年、セキュリティ研究者がLLMが幻覚した huggingface-cli という存在しないパッケージ名を空のパッケージとして登録したところ、3か月で30,000回以上ダウンロードされました。さらにこの幻覚パッケージ名は、AlibabaのリサーチリポジトリのREADMEにも使われていたことが報告されています。
LLM03（サプライチェーン）とも密接に関連する、現実的な脅威です。
存在しないパッケージをインストールしようとして失敗する…、こんな経験、心当たりはありますよね？
シナリオ②：誤った法的・医療情報
LLMは存在しない法的判例・医療文献・権威ある情報源をでっち上げることがあります。
実際に、生成AIが捏造した架空の判例が裁判所に提出され、弁護士が制裁を受ける事例が複数発生しています。医療分野でも、AIチャットボットが医学的なコンセンサスを誤って伝え、根拠のない治療法がまだ議論の余地があるかのように利用者を誤誘導したケースが報告されています。
参考：Mata v. Avianca, Inc. - Wikipedia
参考：Update on the ChatGPT Case - Seyfarth Shaw LLP
シナリオ③：企業の法的責任に直結（Air Canada事件）
攻撃者がいなくても、Misinformationは企業に実害をもたらします。
Air Canadaのチャットボットが、実際には存在しない旅行ポリシーを利用者に案内した結果、企業が法的責任を問われる事態となりました。「AIが勝手に言ったこと」では済まされず、企業側が責任を負うという前例になりました。
参考：Air Canada found liable for chatbot's bad advice - CBC News
参考：Moffatt v. Air Canada: A Misrepresentation by an AI Chatbot - McCarthy Tétrault
監督体制や信頼性管理が不十分なだけで、評判の毀損や法的責任に晒されるという、Misinformationの怖さを示す事例です。
対策
① RAGで事実に基づかせる（Retrieval Grounding）
信頼できる外部データソースを参照させることで、LLMの回答を事実に紐づけます。学習データの記憶だけに頼らせず、検証済みの情報源から回答を生成させるアプローチです。
ただしRAG自体にもリスク（LLM08、Indirect Injection）があるため、参照するデータソースの信頼性も担保する必要があります。
② 引用元の明示とリンク検証
回答に引用元を含めるよう設計し、その引用元が実在するかを検証します。法的判例や文献を扱う用途では、特に重要です。
③ 人間によるレビュー（Human-in-the-loop）
医療・法務・金融など、誤情報が重大な被害につながる領域では、LLMの出力をそのまま使わず人間が確認するプロセスを挟みます。結局、我々の仕事は残るのです。今の段階では。
④ Slopsquatting対策
AIが提案したパッケージは、インストール前に実在性・正当性を確認します。
- 提案されたパッケージ名を公式リポジトリで検索して確認する
- ダウンロード数・メンテナンス状況・公開日をチェックする
- 依存パッケージのスキャンツールを導入する
⑤ ユーザーへのリスク周知
LLMの出力には誤りが含まれうることを、ユーザーに明示します。「AIの回答は必ず検証してください」という案内が、過度の依存を防ぎます。
まとめ
- LLM09 Misinformationは、AIが「もっともらしい嘘」を生成するリスク
- 2025年版で「品質の問題」から「セキュリティの問題」へと位置づけが変わった
- 攻撃者がいなくても発生し、Air Canada事件のように企業の法的責任に直結する
- 特に Slopsquatting（幻覚パッケージの悪用）は現に悪用されている攻撃で、サプライチェーンリスクと繋がる
- 対策は「RAGで事実に基づかせる」「引用元の検証」「人間のレビュー」「Slopsquatting対策」「ユーザーへの周知」
AIの便利さは、その出力を検証する手間とセットです。「AIが言ったから正しい」という思い込みが、最大のリスクになります。
参考文献
- LLM09:2025 Misinformation - OWASP Gen AI Security Project
- Slopsquatting - Wikipedia
- Mata v. Avianca, Inc. - Wikipedia
- Update on the ChatGPT Case: Counsel Who Submitted Fake Cases Are Sanctioned - Seyfarth Shaw LLP
- How can I mislead you? Air Canada found liable for chatbot's bad advice - CBC News
- Moffatt v. Air Canada: A Misrepresentation by an AI Chatbot - McCarthy Tétrault
- OWASP LLM09: Misinformation Risk in AI Applications - Indusface
関連記事
AIセキュリティシリーズの他の記事はこちら。
Discussion