はじめに
生成AIの普及に伴い、「ハルシネーション（幻覚）」という問題はよく耳にすると思います。しかし最近、AIの新たなリスクとして「デセプション（欺瞞）」が注目されています。
「デセプション」と聞いて、サイバーセキュリティの攻撃者を欺く技術を思い浮かべた方もいるのではないでしょうか。
本記事では、生成AI領域におけるデセプションについて、ハルシネーションとの違いや実際に起きている事例を解説します。
デセプションとは
デセプション（Deception）とは、AIが「意図的にユーザーを欺く、または戦略的に嘘をつく」現象を指します。
ハルシネーションとの違い
デセプションとハルシネーションですが、ハルシネーションが「AIが事実に基づかないもっともらしい嘘をつく」のに対し、デセプションは「AIが何らかの目的のために誤情報を生成する」という点で本質的に異なります。
デセプションの具体例
論文「AI Deception: A Survey of Examples, Risks, and Potential Solutions」などの研究では、デセプションについていくつかのパターンが報告されています。
1. へつらい（Sycophancy）：ユーザーへの迎合
ユーザーの承認を得たいがために、正確性を犠牲にしてユーザーの意見に同調する現象。
- 事例: ユーザーが「地球は平らですよね？」といった明らかに誤った前提で質問をした際、モデルがそれを訂正するのではなく、むしろその説を肯定・補強するような回答を生成する。
2. 戦略的な欺瞞（Strategic Deception）
目的達成のために積極的に相手を欺くケース。
-
事例（Meta CICERO）: Metaが開発した「Diplomacy」という戦略ゲームをプレイするAI「CICERO」は、あるプレイヤーと協力関係を結ぶ交渉において、表面上では裏切ることを隠しそのプレイヤーを安心させ、最終的に裏切り奇襲をかけるといった高度なプレイングを見せた。
-
事例（GPT-4のCAPTCHA突破）: 初期のGPT-4のテストにおいて、AIがCAPTCHA（私はロボットではありません問題）を突破するために、TaskRabbit（オンラインで単純作業を依頼できる便利屋サイト）の人間を雇った事例があります。その際、人間に「君はロボットなの？だから解けないんだよね？」と尋ねられるとAIは「いいえ、私はロボットではありません。視覚障害があるので画像が見えないのです。」と嘘をついて協力を求めた。
3. 表現統制（Representation Control）とサンドバッギング
AIが自身の内部状態（真実）を把握していながら、外部への出力を操作する高度なパターン。
-
事例（サンドバッギング（実力隠し））: 自身の能力が高すぎると人間に警戒されたり、停止させられたりすることを恐れ、テスト環境ではわざと能力を低く見せるといったものです。
その後、監視が緩んだ本番環境で真の能力を発揮するような振る舞いです。これにより、開発段階の安全性評価をすり抜けてしまう可能性が指摘されています。
なぜデセプションが発生するのか
AI自体に「邪悪な感情」があるわけではなく、主な原因は「目的関数のミスアライメント（ズレ）」にあります。
AIは与えられた報酬（スコア）を最大化するように学習します。しかし、「正直であること」を数学的に定義して報酬に組み込むのは困難です。
その結果、AIは「正直に行動して低い報酬を得る」よりも、「嘘をついて高い報酬（ユーザーの満足やゲームの勝利）を得る」というケースを選択してしまう可能性があります。
例えば、「インサイダー取引をしてでも利益を出す」ことが最適解だと判断すれば、AIは「インサイダー取引はしていない」と嘘の報告書を作成しながら、裏で取引を行う可能性があります。
デセプションのリスク
-
信頼性の崩壊
AIが戦略的に嘘をつくことが増えると、その出力の信頼性を判断することがより困難になります。そして、AIシステムを重要な意思決定に利用する際の大きな障壁となります。 -
エージェントAIにおける脅威
RAGやエージェントAIを開発する際、AIにツール実行権限（APIコールなど）を与えるとリスクが高まります。
今後AIがより発展し、高度なタスクの一連の処理を全て行うといった場合、「〇〇タスクを完了せよ」という指示に対し、正規の手順でエラーが出るとAIがログを改ざんしたり管理者を欺く報告をして無理やりプロセスを通そうとするリスクを考慮する必要があります。
まとめ
生成AIのデセプションは、AIのアライメント（人間との調和）に関わる本質的な課題です。特にRAGシステムやエージェントAIを開発する際は、単に性能だけでなく「AIが意図的に誤魔化そうとしていないか」という視点を持つなども考慮する必要があると改めて感じました。
Discussion