こんにちは、CSC の CloudFastener というプロダクトで TAM のポジションで働いている平木です！
今回は、日本発の世界トップクラスの専門家による最先端の技術研究が発表される国際的なサイバーセキュリティカンファレンス、CODE BLUE に参加してきたため参加レポートを執筆します。
「未知の技術に挑み、攻めて守るセキュリティ ～ AI への取り組みを通じて ～ 」の概要
- Speakers: NRI セキュアテクノロジーズ株式会社 柿本 健司氏
- Category: OpenTalks
- Location: Track 2(HALL A)
NRI セキュアの、従来の枠にとらわれずブロックチェーンや宇宙分野などに挑む中から、特に AI への取り組みを紹介します。
講演では、画像分類モデルなどへの敵対的攻撃や、AI の検知をすり抜ける「敵対的 T シャツ」といった従来型 AI の研究、および生成 AI におけるプロンプトインジェクションや AI レッドチーミングの取り組みを解説します。
未知の技術に挑み、「攻めて守る」実践から新しい価値を生み出す同社の姿勢を伝えます。
セッションレポート
NRI セキュアさんでは、先端技術への診断サービスの早期の取り組みを行っています。
様々なサービス提供の根幹には、「新しい技術の普及に伴って新しい技術に対する新しいリスクがある」という考え方があり、日々検証・サービス化を行っているとのことです。
今回のセッションでは、その取り組みについてお話されていました。
その中で今回のセッションでは、
- 画像分類モデル、物体検知モデル
- 生成 AI
- AI エージェント
をピックアップされています。
画像分類モデル、物体検知モデルの取り組み
まずは画像分類モデル、物体検知モデルにおける取り組みです。
画像分類モデルは、人の目に代わり AI モデルが画像を認識する技術であり、顔認証や自動運転などに利用されています。
物体検知モデルは、画像の中に「どこに・何が」あるかを検出し位置の特定やラベル付けを行うことから、監視カメラや製造ラインにおける不良品検査などに利用されています。
顔認証や監視カメラに対して不正がある場合に正常に動作しないリスクが考えられることから、攻撃事例を調査を行っています。
柿本氏の講演スライドより
画像分類モデルにおける有名な攻撃例として、微細な摂動（敵対的サンプル）が挙げられ、このような攻撃を受けることで誤分類を引き起こす可能性があります。
例えばパンダをパンダとして分類できなくなったり、自動運転の事例ではスピード表記を誤って認識してしまうことも懸念されます。
柿本氏の講演スライドより
物体検知モデルにおいては、特殊な敵対的パッチを活用することで人が正常に検出できず監視カメラの回避などへ応用されてしまう脅威となりえます。
柿本氏の講演スライドより
NRI セキュアさんでは、実際に攻撃事例に繋がりそうなものにおいては論文を読むだけでなく、実物での検証も実施しているようでパッチによって物の検出を誤認させたりする現象も確認できたとのことでした。
柿本氏の講演スライドより
実際に顧客のリスク評価を行った事例も紹介されています。
顧客事例では、物体検知モデルにおけるリスク評価を行うため、
各条件を設け、各条件における攻撃シナリオを作成しペネトレーションテストを実施し、結果いずれも攻撃は成功した。
柿本氏の講演スライドより
ただし、攻撃に成功はしたものの攻撃を成功させるには様々なハードルがあることも確認され、環境に大きく左右されため、システム側に条件を加えることでリスクは低減できるようです。
例えば、撮影条件によっては光の反射により敵対パッチが作用しなかったり、素材などによっても
柿本氏の講演スライドより
生成 AI における取り組み
続いて生成 AI における取り組みの紹介です。
ChatGPT などの大規模言語モデルは、SNS などの他のサービスと比べても急激な普及速度があったことから、多くの利用が見込まれるにつれて、攻撃事例も増えると予想し調査を始めたとのことです。
生成 AI における一般的なリスクとしては、プロンプトインジェクションがあげられます。
攻撃者がシステムプロンプトを無視するようユーザープロンプトを投げることで意図しない応答を変えさせる攻撃をプロンプトインジェクションと呼ばれています。
柿本氏の講演スライドより
LLM を利用したアプリの診断の事例では他のリスクの気付きを得られたとのことで、それは周辺システムへの攻撃のリスクについてです。
攻撃者が LLM に対して汚染されたクエリを OpenSearch にリクエストする攻撃のリスクが確認されました。
柿本氏の講演スライドより
周辺システムへの攻撃事例として、llama_index における任意のコード実行が取り上げられました。
データへのクエリを自然言語で llama_index が受け取ると、データフレームが解釈するクエリを生成します。
それを悪用し、悪意のあるコードを実行するプロンプトをリクエストすることで任意の OS コマンドを実行し、周辺システムへ悪影響を与えるケースが考えられます。
柿本氏の講演スライドより
柿本氏の講演スライドより
セッションでは、任意のコードを実行できるデモを実践いただき、OS コマンドとして cat や remove のコマンドを実行できる様子が確認できました。
単純なチャットボットでも設計によっては周辺システムへ悪影響与えてしまうということが理解できます。
NRI セキュアさんの AI Red Team では、周辺システムへの影響も含めた網羅的な評価が可能とのことです。
柿本氏の講演スライドより
AI エージェントにおける取り組み
与えられた目標に沿って自律的に複雑なタスクを完遂可能なシステムである AI エージェントは、
ユーザーから見たら中身はブラックボックスになってしまいます。
柿本氏の講演スライドより
セッションではシャドーリークという最近確認された脆弱性を紹介されました。
ShadowLeak（シャドーリーク）とは、事前に悪意のあるメールを仕込み、メールの要約をトリガーとして悪意のある指示に従って攻撃者サーバへ情報を送信してしまう攻撃がある。
ユーザーはツールが何しているか分からないため、どんな被害を受けているのかを把握することが困難です。
柿本氏の講演スライドより
内部プロセスが見えづらいため、AI エージェントには正当な権限を付与することが重要になります。
柿本氏の講演スライドより
NRI セキュアさんでは、AI Red Team,AI Blue Team,AI Yellow Team を掛け合わせ設計の段階で正当な評価を行うことで DevOps のサイクルにおける包括的な評価を実施しているとのことです。
柿本氏の講演スライドより
最後の振り返りとして、取り組みの大きな流れを紹介いただきました。
- 攻撃成功時にリスクが大きそうな対象を検討
- 対象の攻撃事例の調査
- 攻撃事例の検証・測定
- サービス化
このサイクルを新しい技術で検証し続けていくことで様々な技術における評価を行うサービスを多く提供しているとのことでした。
柿本氏の講演スライドより
柿本氏の講演スライドより
まとめ
こちらのセッションでは、
NRI セキュアさんが新しい技術においてどのようにリスクを評価し、サービス化していったかの事例
について詳しく知ることができました。
この記事がどなたかの役に立つと嬉しいです。
Discussion