はじめに
先日、セキュリティイベント「CODE BLUE」に参加しました。
本記事では、聴講したセッション「AIセキュリティの実践：インジェクション攻撃とガードレール防御」について、投影スライドと当日の内容を基に、私自身の言葉でまとめています。
イベント概要
- イベント名：CODE BLUE Tokyo 2025
- 開催日：2025年11月18日, 19日
- 開催場所：ベルサール高田馬場
Speaker
株式会社 CyCraft Japan - Renata Chang(レナタ チョウ) 氏
レポート
背景
大規模言語モデル(LLM：Large Language Model)の導入が進む中、
- Prompt Injection(プロンプトインジェクション)
- Prompt Extraction(プロンプト抽出攻撃)
- Jailbreak(制限からの脱獄)
といった新しい攻撃手法が急速に拡大しています。
また、脅威を防ぐことができたとしても、AIが適切な動作をしているかを確認する必要があります。
例えば、AIは誤りを犯し、人間を誘導する可能性があります。
XecGuard
XecGuardは、先述した問題に対するアプローチの一つです。
CyCraftによって提供されている、直接導入可能なガードレール型セキュリティモジュールになります。
主な機能は以下の通りです。
-
AI有害コンテンツガードレール
- ユーザの悪意ある入力やLLMからの有毒な出力をブロックする
-
AIタスクコンテキストガードレール
- AIアプリケーションのタスク文脈に反する不適切な要求をブロックする
-
AIカスタムポリシーガードレール
- 企業のAIアプリケーションに対して、専用のグローバルセキュリティポリシーガードレールをカスタマイズして適用する
これらの機能によって、検証可能な多層コントロールを構築し、悪意あるプロンプトを抑制して安全なモデル挙動を保証しています。
ここからは、XecGuardの具体的な処理の流れについて説明します。
- ユーザがAIアプリケーションに入力(プロンプト)を送信します。
- 入力内容をXecGuardに渡し、内容を確認します。
- セキュリティの観点から危険性のある内容を除いて、AIアプリケーションに入力内容を戻します。
- XecGuardを経由した入力内容をLLMに送信します。
XecGuardの概略図
他にも、CyCraftではAIを活用したサービスを提供しており、概要と共に紹介されました。
- AIをAIで守る：XecGuard
- AIでAIをテストする：XecART
- AIで人を育てる：XecArena
プロンプトインジェクションといった脅威について興味のある方は、XecArenaを利用してみてはいかがでしょうか。
XecArenaでは、様々なモデルに対してプロンプト攻撃をテストすることができます。
Googleアカウントでのログインが必要ですが、ゲーム感覚でプロンプト攻撃とLLMの脆弱性を学ぶことができると思います。
感想
「セキュリティはAIの安全確保から始まる」という言葉が印象的でした。
インターネットやスマートフォンのように、AIも誰もが使用する当たり前の存在になってきていると感じています。
だからこそ、この言葉を忘れずにいたいと思いました。
Discussion