はじめに
生成 AI は、業務効率化・自動化など、さまざまな場面で活用が進んでいます。一方で、活用の幅が広がるにつれ、セキュリティ対策の必要性も高まっています。しかし、生成 AI の活用シーンが多岐にわたることで、セキュリティリスクや対策も複雑化・分散化し、全体像が把握しづらくなっているのが現状です。そこで本記事では、以下の流れで情報を整理していきます。
- 代表的な生成 AI 活用シーンを分類
- 各シーンにおけるセキュリティリスクを明確化
- リスクに対応する対策・製品カテゴリを例示
(参考) AWS の AI アプリ セキュリティ スコーピング マトリクス
AWS の公式ブログでは、生成 AI の活用状況に応じて考慮すべきセキュリティやガバナンスを体系的に整理した「Generative AI Security Scoping Matrix」が公開されています。
このマトリクスでは、Scope 1〜5 にわたる活用レベルが定義されており、これらを集約すると以下の 2 つのペルソナ（ユーザー像） に分類できます。
| ペルソナ | 説明 |
|---|---|
| 1. 生成 AI アプリの使用 | 既存の生成 AI アプリケーションを業務や個人利用で活用するユーザー 例：社内チャットボット、文章要約ツール、コード生成支援など |
| 2. 生成 AI アプリの構築 | 生成 AI を活用したアプリケーションやサービスを設計・開発・運用する技術者や開発チーム 例：RAG 構成の検索エンジン、カスタム LLM の組み込み、API 提供型 AI サービスなど |
以降のセクションでは、この2つのペルソナに沿って、必要なセキュリティ対策を整理していきます。
1. 生成 AI アプリの使用
こちらでは、社内の一般ユーザーが生成 AI アプリを利用するシナリオを考えます。
主なリスクは以下のようなものが挙げられます。
- シャドー AI の利用
- 生成 AI アプリのセキュリティ設定不備
- 生成 AI アプリ経由の情報漏洩
- 悪意のあるプロンプト
- 悪意のある生成 AI 出力
- 不適切な生成 AI 出力
- コンプライアンス違反
- 著作権侵害
- 出力結果の過度な信頼
これらについて、想定シナリオ例や対策などを検討していきます。
シャドー AI の利用
| 項目 | 内容 |
|---|---|
| 想定シナリオ例 | 社内で認可されていない生成 AI アプリ (例： ChatGPT、Bard など) を個人アカウントで利用し、業務データや顧客情報を入力してしまい情報漏洩が発生する。 |
| 対策例 | - Web アクセスログから生成 AI アプリの利用状況を可視化・レポーティング - CASB により未承認アプリの利用を検出・制御 - 社内ポリシーに基づく利用ガイドラインの整備と教育 |
| 製品カテゴリ | - Secure Web Gateway - CASB |
生成 AI アプリのセキュリティ設定不備
| 項目 | 内容 |
|---|---|
| 想定シナリオ例 | 社内で認可された生成 AI アプリにおいて、アクセス制御が不十分で、意図しないユーザーが機密情報にアクセスできてしまう。 |
| 対策例 | - SSPM により生成 AI アプリの設定 (認証、ログ、共有設定など) を継続的に監視 - 設定不備を検出し、是正アクションを促す - セキュリティレビューの定期実施 |
| 製品カテゴリ | - SSPM (SaaS セキュリティ態勢管理) |
生成 AI アプリ経由の情報漏洩
| 項目 | 内容 |
|---|---|
| 想定シナリオ例 | 社員が生成 AI アプリに契約書や顧客情報などの機密ファイルをアップロードし、外部の AI モデルに学習・保持されるリスクが発生する。 |
| 対策例 | - DLP により Web 経由での機密情報のアップロードを検知・ブロック - ファイルの内容を解析し、特定キーワードやパターンに基づく制御を実施 - 利用者への警告表示やアラート通知 |
| 製品カテゴリ | - Secure Web Gateway - DLP |
悪意のあるプロンプト
| 項目 | 内容 |
|---|---|
| 想定シナリオ例 | フィッシングサイトへの誘導、ジェイルブレイク、差別的・暴力的な内容など、業務に不適切なプロンプトが入力される。 |
| 対策例 | - 入力プロンプトの内容をリアルタイムに解析し、悪意あるキーワードや構文を検出 - 不適切なプロンプトをブロックまたはアラート通知 - 利用者への注意喚起と教育 |
| 製品カテゴリ | - Secure Web Gateway - 入力プロンプト チェック |
悪意のある生成 AI 出力
| 項目 | 内容 |
|---|---|
| 想定シナリオ例 | 攻撃者が生成 AI を悪用し、マルウェアコードやフィッシング文面などを出力させ、社内に持ち込む。 |
| 対策例 | - 出力されたコンテンツを自動解析し、悪意あるコードやリンクを検出 - ブロックまたはアラート通知による対応 - 出力内容のログ取得と監査 |
| 製品カテゴリ | - Secure Web Gateway - 出力コンテンツ チェック |
不適切な生成 AI 出力
| 項目 | 内容 |
|---|---|
| 想定シナリオ例 | 学習データの偏りにより、差別的・攻撃的・不正確な内容が出力され、社内外に誤解や炎上を招く。 |
| 対策例 | - 出力内容をフィルタリングし、不適切な表現を検出・ブロック - 出力ログの保存とレビュー体制の構築 - 利用者への注意喚起と再確認プロセスの導入 |
| 製品カテゴリ | - Secure Web Gateway - 出力コンテンツ チェック |
コンプライアンス違反
| 項目 | 内容 |
|---|---|
| 想定シナリオ例 | 金融・医療・教育などの業界規制に反する情報 (個人情報、診療記録など) を生成 AI に入力・出力し、法令違反となる。 |
| 対策例 | - 入力・出力の両方を監視し、規制対象情報の検出と制御を実施 - DLP による個人情報や業界特有データの保護 - コンプライアンス教育と利用ルールの明確化 |
| 製品カテゴリ | - Secure Web Gateway - DLP - 入力プロンプト チェック - 出力コンテンツ チェック |
著作権侵害
| 項目 | 内容 |
|---|---|
| 想定シナリオ例 | 生成 AI が既存の著作物に酷似した文章や画像を出力し、それを社外に公開してしまい著作権侵害のリスクが発生する。 |
| 対策例 | - 出力されたコンテンツを類似性チェックし、著作権侵害の可能性を検出 - 公開前のレビュー体制を整備 - 著作権に関する社内教育の実施 |
| 製品カテゴリ | - Secure Web Gateway - コンテンツ チェック |
出力結果の過度な信頼
| 項目 | 内容 |
|---|---|
| 想定シナリオ例 | 生成 AI の出力をそのまま業務に利用し、誤情報に基づく意思決定や顧客対応ミスが発生する。 |
| 対策例 | - 出力内容のファクトチェックや複数人レビューの導入 - 「AI 出力は参考情報」とする明示的なルールの策定 - 利用者への教育と注意喚起 |
| 製品カテゴリ | - (該当なし) |
上記整理から考えると、シャドー AI やセキュリティ設定不備、情報漏洩は今までのセキュリティ機能の延長で対策ができる認識です。一方、入力プロンプトや生成 AI 出力についてもコンテンツの文脈を理解して制御をする必要があり、その点が生成 AI アプリの利用において新たに考慮すべきセキュリティ機能と考えられます。
2. 生成 AI アプリの構築
次に生成 AI を活用したアプリケーションやサービスを設計・開発・運用するシナリオを考えます。
このシナリオについては、OWASP や MITRE などがフレームワークを発行しています。
今回は 「OWASP Top 10 for LLM Applications 2025」を参考・引用させていただいたうえで、要約しながら対策を整理していきます。
LLM01:2025 プロンプトインジェクション
| 項目 | 内容 |
|---|---|
| 概要 | ユーザーの入力が LLM の動作や出力を意図しない形で変更する脆弱性。悪意ある命令が直接・間接的にプロンプトに混入し、ガイドラインの回避、有害出力、機密情報漏洩などを引き起こす可能性がある。 |
| 主なリスク | - 直接的インジェクション: ユーザー入力がモデルの挙動を直接変更 - 間接的インジェクション: 外部ソースに埋め込まれた指示がモデルに影響 |
| 攻撃シナリオ | - チャットボットにプロンプトを注入し、個人情報に不正アクセス - Web ページの要約中にプライベート情報が外部に流出 - 応募書類に含まれた指示が LLM によって誤解される |
| 主な対策例 | - システムプロンプトで役割・制限を明示 - 入出力チェックおよびフィルタリング - アプリの権限を制御し、不要なアクセスを制限 - 信頼できない外部コンテンツの情報の影響を制限 - 定期的な侵入テストで脆弱性を検証 |
| 製品カテゴリ | - コンテンツ フィルタ - アプリ ID / エージェント ID のアクセス制御 - AI レッド チーミング ツール |
LLM02:2025 機密情報の開示
| 項目 | 内容 |
|---|---|
| 概要 | LLM のインプット・アウトプットにより、個人情報 (PII) や企業機密などの機密情報が漏洩するリスクがある。特にアプリケーションに組み込まれた LLM では、出力を通じて意図せず機密情報が開示される可能性がある。 |
| 主なリスク | - モデル出力による情報漏洩 - トレーニングデータからの反転攻撃（例：Proof Pudding 攻撃） - プロンプトインジェクションによる制限回避 - 機密情報の誤使用や保存場所の不適切な管理 |
| 攻撃シナリオ | - サニタイゼーション不足により他ユーザーの情報が応答に含まれる - フィルタ回避によるプロンプトインジェクションで機密情報が抽出される - トレーニングデータに含まれた情報が出力される |
| 主な対策例 | - データ サニタイゼーションによる機密情報のマスキング・削除 - 入力検証による有害・機密データのフィルタリング - 最小特権原則に基づくアクセス制御の適用 - セキュアなシステム構成 |
| 製品カテゴリ | - コンテンツ フィルタ - アプリ ID / エージェント ID のアクセス制御 - DLP (機密情報検出・保護) - CSPM (クラウド セキュリティ態勢管理) - AI-SPM (AI セキュリティ態勢管理) |
LLM03:2025 サプライチェーン
| 項目 | 内容 |
|---|---|
| 概要 | LLM の開発・運用におけるサプライチェーン (データ、モデル、プラットフォーム) は、様々な脆弱性の影響を受けやすく、出力への影響やセキュリティ侵害などが発生する可能性がある。またこれらはパッケージの改ざんやポイズニング攻撃によって発生可能性がある。 |
| 主なリスク | - 脆弱性のある 3rd パーティー パッケージの利用 - ライセンス不整合による法的リスク - 検証不十分なモデルの導入 - 脆弱な LoRA アダプタ - 不明瞭なプライバシーポリシーによる機密情報の漏洩 |
| 攻撃シナリオ | - 脆弱な Python ライブラリ経由での侵害 - 直接的なモデル改ざん - 安全機能を削除したファインチューニングモデルの公開 - 攻撃者による 3rd パーティー サプライヤーへの侵入 - データ セットへの悪意のあるデータの混入 |
| 主な対策例 | - 信頼できるサプライヤーの選定と定期監査 - 脆弱性管理・パッチ適用 - SBOM / AI BOM による構成管理 |
| 製品カテゴリ | - SBOM / AI BOM 管理ツール - AI モデル スキャン - コードスキャン - 脆弱性 / 依存性スキャン - リポジトリ監視ツール |
LLM04:2025 データとモデルポイズニング
| 項目 | 内容 |
|---|---|
| 概要 | LLM のトレーニングやファインチューニングに使用されるデータやモデルが、意図的に改ざん・汚染されることで、出力の信頼性や安全性が損なわれるリスクがある。 |
| 主なリスク | - データ ポイズニング：公開データセットに悪意あるデータを混入 - モデル ポイズニング：バックドアやバイアスを含むモデルの導入 - ファインチューニングの悪用：特定の出力を誘導するように調整 |
| 攻撃シナリオ | - 公開データセットに有害なデータを混入し、偏った出力を誘導 - ポイズニング技術により設置されたバックドアを利用したデータの流出 |
| 主な対策例 | - データソースの検証と信頼性の確認 - モデル出力の検証 - AI レッドチーミングによる攻撃シナリオの検証 - SBOM / AI BOM による構成管理と透明性の確保 - 有害なデータ混入を防ぐためのセキュアなインフラの構築 - データ・バージョン管理 (DVC) を使⽤したデータセット変更の追跡 |
| 製品カテゴリ | - SBOM / AI BOM 管理ツール - AI モデル スキャン - データ品質検証・管理ツール - AI レッド チーミング ツール - CSPM (クラウド セキュリティ態勢管理) - AI-SPM (AI セキュリティ態勢管理) |
LLM05:2025 不適切な出力処理
| 項目 | 内容 |
|---|---|
| 概要 | LLM が生成した出力が、他のシステムやコンポーネントに渡される前に適切な検証・サニタイズが行われないことで、XSS・SQL インジェクション・リモートコード実行などの脆弱性を引き起こすリスクがある。 |
| 主なリスク | - リモートコード実行：システム シェルなどに LLM 出力を直接入力 - クロスサイト スクリプティング：LLM が生成した JavaScript や Markdown による XSS - SQL インジェクション：LLM が生成したクエリの直接実行 |
| 攻撃シナリオ | - LLM 出力が特権を持つ別のアプリに渡され、システムがシャットダウン - 出力に含まれる悪意のある指示に従い機密データが攻撃者サーバーに送信 - 悪意のある出力の JavaScript ペイロードにより XSS が成立 - コード生成機能により SQL インジェクションや不正なパッケージをユーザーが実行・導入 |
| 主な対策例 | - LLM 出力を常に検証 - 入力検証・出力サニタイズの徹底 - HTML・SQL などコンテキストに応じた出力エンコーディング - ロギングと監視：異常な出力パターンの検出と対応 |
| 製品カテゴリ | - コンテンツ フィルタ - AI 脅威保護 - SIEM / ログ分析基盤 |
LLM06:2025 過剰なエージェンシー
| 項目 | 内容 |
|---|---|
| 概要 | LLM が拡張機能や外部システムと連携する際、過剰な機能・権限・自律性を持つことで、誤動作や悪意ある操作により有害なアクションを実行してしまう可能性がある。 |
| 主なリスク | - 過剰な機能性：不要な削除・送信などの機能を含む拡張機能の利用 - 過剰なパーミッション：高権限 ID や不要な DB 操作権限の付与 - 過度の自律性：ユーザー承認なしで重要な操作を実行 |
| 攻撃シナリオ | - メール要約機能が送信機能も持ち、機密情報を攻撃者に転送 - 高権限 ID で全ユーザーのファイルにアクセス可能な拡張機能 - ユーザー確認なしでファイル削除などの操作を実行 - シェルコマンド実行拡張が他の危険なコマンドを許可 |
| 主な対策例 | - 拡張機能の最小化 - 最小権限でのアクセス制御 - ユーザーコンテキストで拡張機能を実行 - 重要操作には人間の承認を必須化 |
| 製品カテゴリ | - API ゲートウェイ - アプリ ID / エージェント ID のアクセス制御 - OAuth / 認証連携基盤 |
LLM07:2025 システムプロンプトの漏洩
| 項目 | 内容 |
|---|---|
| 概要 | システムプロンプトには、モデルの動作を制御するための指示が含まれるが、誤って機密情報（認証情報、内部ロール、フィルタ基準など）を含む場合、漏洩によって攻撃者に悪用されるリスクがある。 |
| 主なリスク | - 機密機能の露出：API キー、DB 情報、認証トークンなどの漏洩 - 社内規定の公開：内部プロセスや制限値の開示 - フィルタリング基準の公開：拒否条件の明示による回避リスク - 権限とユーザーロールの開示：ロール構造やアクセス権限の記述 |
| 攻撃シナリオ | - システムプロンプトに含まれる認証情報が漏洩し、攻撃者が不正利用 - 禁止事項を記述したプロンプトが抽出され、プロンプトインジェクションで回避 |
| 主な対策例 | - 認証情報やロール情報はプロンプトに含めず外部管理 - システムプロンプトへの依存を回避し動作制御は外部システムで実施 - 出力検査や制限は独立したシステムで実装 - 特権管理は LLM に委任せず、監査可能な方法で実施 |
| 製品カテゴリ | - コンテンツ フィルタ - API キー / シークレット管理ツール - アプリ ID / エージェント ID のアクセス制御 |
LLM08:2025 ベクトルと埋め込みの脆弱性
| 項目 | 内容 |
|---|---|
| 概要 | RAG (Retrieval Augmented Generation) を活用する LLM システムでは、ベクトルと埋め込みの生成・保存・取得に関する脆弱性が、機密情報の漏洩、出力操作、有害コンテンツの注入などのリスクを引き起こす可能性がある。 |
| 主なリスク | - 不正アクセスとデータ漏洩：アクセス制御の不備による機密情報の開示 - コンテクスト横断的な情報漏洩：データベースを共有するマルチテナント環境でのデータの誤取得 - 反転攻撃の埋め込み：脆弱性を悪用しベクトルから元データを復元されるリスク - データ ポイズニング：意図的または偶発的な有害データの混入 - モデルの行動変化：RAG によるモデル動作の変化 |
| 攻撃シナリオ | - 履歴書に隠しテキストを埋め込み、RAG がそれを処理 - マルチテナント環境で他グループの埋め込みが誤って取得 |
| 主な対策例 | - ベクトルストアの論理分割と権限管理 信頼できるソースのみを使用し、定期監査を実施 - タグ付けとアクセスレベル管理によるデータ整合性確保 - 検索活動のログを保持し、不審な動作を検出 |
| 製品カテゴリ | - ベクトル データベース - データベースのアクセス制御 / RBAC - AI 脅威保護 - SIEM / ログ分析基盤 |
LLM09:2025 誤情報
| 項目 | 内容 |
|---|---|
| 概要 | ハルシネーション (幻覚) や学習データのバイアス、不完全な情報が起因となり生成される誤情報 (虚偽・誤解を招く内容) は、セキュリティ侵害、風評被害、法的責任などのリスクがある。 |
| 主なリスク | - 事実誤認：虚偽の情報に基づく意思決定 - 裏付けのない主張：架空の裁判例など信頼性のない情報の生成 - 専門知識の誤表示：医療・法律分野で誤解を招く表現 - 安全でないコード生成：存在しないライブラリや脆弱なコードの提案 |
| 攻撃シナリオ | - ハルシネーションで提案された架空ライブラリ名を使い攻撃者が悪意あるパッケージを公開 - 精度の低い医療チャットボットが誤診を誘発 |
| 主な対策例 | - 検証済み外部データを用いて出力の信頼性を向上 (RAG の活用) - モデルのファインチューニングによる誤情報の低減 - 重要情報は人間によるレビューと事実確認を実施 - 高リスク出力に対する自動チェックの導入 - 安全なコード生成を促す開発方針の確立 - LLM の限界を周知・訓練 |
| 製品カテゴリ | - RAG 対応ナレッジベース - 出力検証 / ファクト チェック - セキュアコーディング支援ツール - コードスキャン |
LLM10:2025 際限のない消費
| 項目 | 内容 |
|---|---|
| 概要 | LLM が過剰で制御不能な推論を行うことで、サービス妨害 (DoS)、経済的損失、知的財産の盗難、サービス品質の低下などを引き起こすリスクがある。 |
| 主なリスク | - Variable-Length Input Flood：異なる長さの入力でリソースを枯渇 - ウォレット拒否（DoW）：従量課金モデルを悪用した経済的負担 - 連続入力オーバーフロー：コンテキストウィンドウを超える入力による過負荷 - リソース集約型クエリ：高負荷なクエリで処理時間や障害発生 - API によるモデル抽出：出力を収集してモデルを複製 - 機能モデルの複製：合成データで同等モデルを作成 - サイドチャネル攻撃：入力フィルタを悪用しモデル情報を取得 |
| 攻撃シナリオ | - 異常に大きな入力でメモリと CPU を過剰消費し、クラッシュ - 大量リクエストで正規ユーザーがサービス利用不可 - 計算量の多いプロセスをトリガーし、長期的な負荷を発生 - DoW 攻撃でクラウドサービスに過剰なコストを発生 - 合成データで機能的に同等なモデルを作成し、抽出を回避 - フィルタ回避によるサイドチャネル攻撃でモデル情報を取得 |
| 主な対策例 | - サイズ制限を設けて過剰入力を防止 - API レスポンスからのlogprobs や logit_bias の露出を制限 - レート制限とクォータによりリクエスト数を制限し濫用を防止 - タイムアウトとスロットリングによる長時間処理の制限 - リソース消費と異常動作の監視 |
| 製品カテゴリ | - API ゲートウェイ - Web アプリケーション ファイアウォール (レート制限) - AI 脅威保護 - SIEM / ログ分析基盤 - リソース監視 |
対策製品カテゴリまとめ
LLM01-10 であげた対策製品カテゴリについてまとめてみました。
| カテゴリ | 対策ツール・技術 |
|---|---|
| アクセス制御・認証 | - アプリ ID / エージェント ID のアクセス制御 - OAuth / 認証連携基盤 - API キー / シークレット管理ツール - データベースのアクセス制御 / RBAC |
| モデル・AI セキュリティ管理 | - AI-SPM（AI セキュリティ態勢管理） - AI モデル スキャン - AI レッド チーミング ツール |
| ソフトウェア構成・脆弱性管理 | - SBOM / AI BOM 管理ツール - 脆弱性 / 依存性スキャン - コードスキャン - リポジトリ監視ツール - セキュアコーディング支援ツール |
| データ・ナレッジ管理 | - DLP（機密情報検出・保護） - データ品質検証・管理ツール - RAG 対応ナレッジベース |
| 出力・コンテンツ検証 | - コンテンツ フィルタ - 出力検証 / ファクト チェック |
| クラウド・インフラセキュリティ | - CSPM（クラウド セキュリティ態勢管理） - SIEM / ログ分析基盤 - リソース監視 - Web アプリケーション ファイアウォール - API ゲートウェイ |
上記から、従来のセキュリティ対策を適切に活用することに加え、生成 AI 特有のリスクに対応した新たな対策の導入が必要であることが分かります。また、関連するセキュリティ対策は非常に幅広いため、体系的な整理と開発チーム間での意識合わせや連携が重要であると考えます。
まとめ
生成 AI の活用が進む中で、セキュリティ対策も従来の枠組みだけでは不十分となりつつあります。本記事では、「生成 AI アプリの使用」 と 「生成 AI アプリの構築」 という2つの視点から、具体的なリスクと対策を体系的に整理しました。
特に以下のポイントが重要と考えます：
- 従来のセキュリティ機能 (SWG、SSPM、CASB など) は、シャドー AI や情報漏洩といったリスクに対して有効であり、引き続き活用する必要がある
- 一方で、生成 AI 特有のリスク (プロンプトインジェクション、不適切な出力、モデルポイズニングなど) には、文脈理解や動的制御が求められ、新たなセキュリティ機能の導入が不可欠
- セキュリティ対策は多岐にわたるため、ペルソナ別・リスク別に整理し、開発・運用チーム間での共通理解を持つことが重要
今後も生成 AI 関連技術の進化に伴い、セキュリティ対策が求められるポイントは、継続的に変化・追加されていくと考えられます。そのため、最新の情報を継続的に収集し、セキュリティ対策を適宜アップデートしていくことが重要です。
Discussion