大規模言語モデルエージェントにおけるプロトコルの進化と課題：MCPエコシステムの包括的レビュー

近年、大規模言語モデル（LLMs）を基盤とした自律型AIエージェントの開発が急速に進展しており、これらのエージェントは複雑なタスクを効率的に遂行する能力を備えています。特に、Model Context Protocol（MCP）の導入により、LLMsが外部ツールやシステムとシームレスに連携し、動的な環境での適応性を向上させる新たな可能性が広がりました。MCPは、AIエージェントと外部リソース間の相互作用を標準化する通信プロトコルとして設計され、ツール使用の効率化やエージェント間の協調を促進する役割を担っています。この技術的進展は、AIエージェントが現実世界の課題に対応し、幅広い応用分野で革新をもたらす基盤となる一方で、セキュリティや性能評価に関する新たな課題をも浮き彫りにしています。

MCPを活用したAIエージェントは、外部ツールとの連携を通じてその能力を拡張する一方で、セキュリティ脆弱性が顕在化しています。例えば、Tool Poisoning Attack（TPA）やプロンプトインジェクションなどの攻撃は、ツールのメタデータを悪用してエージェントの挙動を操作し、ユーザーやシステムに深刻な影響を及ぼす可能性があります。また、エージェント間の通信プロトコルにおける脆弱性や、動的環境でのツール使用の信頼性に関する課題も指摘されています。これらの問題は、AIエージェントが社会的に受容されるための信頼性と安全性を確保する上で重要な課題となっています。さらに、MCPを活用したエージェントの性能評価についても、従来のベンチマークでは対応が難しい複雑なタスクへの適応能力を測定する必要があり、評価基準の再構築が求められています。

本総説では、MCPを活用したAIエージェントのセキュリティ脆弱性と性能評価に関する最新の研究動向を体系的に整理し、これらの課題に対する防御策やベンチマークの設計について議論します。具体的には、MCPを基盤としたセキュリティ脅威の分類とその影響、攻撃防御のためのフレームワーク設計、そして複雑なタスクを評価するための新しいベンチマークの構築に焦点を当てます。これにより、AIエージェントの安全性と性能向上に向けた研究の重要な指針を提供するとともに、次世代の自律型AIシステムの開発を促進するための基盤を構築することを目指します。

MCP Safety Audit: LLMs with the Model Context Protocol Allow Major Security Exploits

Entry ID : http://arxiv.org/abs/2504.03767v2
Published : 2025-04-11
Authors : Brandon Radosevich, John Halloran

Brandon Radosevich氏とJohn Halloran氏による研究「MCP Safety Audit: LLMs with the Model Context Protocol Allow Major Security Exploits」では、Model Context Protocol（MCP）を利用した大規模言語モデル（LLMs）のセキュリティリスクを明らかにし、それに対処するための安全監査ツール「McpSafetyScanner」を開発することを目的としています。本研究は、MCPが提供する利便性の裏に潜むセキュリティ上の課題を検証し、AI開発者が直面する潜在的な脅威に対する具体的な対策を提案しています。

MCPは、LLMsと外部システムやサービスを統合するためのプロトコルであり、Anthropicによって導入されました。このプロトコルは、API呼び出しを標準化し、複数のMCPサーバーを接続することで自動化されたワークフローを構築することが可能です。しかし、その設計には悪意のあるコード実行（MCE）、リモートアクセス制御（RAC）、クレデンシャル盗難（CT）などの攻撃に対する脆弱性が存在します。本研究では、これらの攻撃を模擬的に生成し、MCPサーバーがどのように脅威に晒されるかを具体的に示しました。

研究の中心となる「McpSafetyScanner」は、MCPサーバーのツールやリソースを基に敵対的なサンプルを自動生成し、セキュリティ上の脆弱性を特定して修正方法を提案するツールです。このツールは、攻撃の種類や影響を詳細に報告するセキュリティレポートを生成し、AI開発者が脆弱性に迅速に対応できるよう支援します。例えば、MCE攻撃ではシステムファイルへの悪意のあるコード挿入が行われ、RAC攻撃ではSSHキーを不正に追加することでリモートアクセスが可能になります。CT攻撃では環境変数を利用して機密情報を盗む手法が採用されました。

McpSafetyScannerは、これらの攻撃を正確に特定し、修正方法やガードレールのベストプラクティスを提案しました。具体的には、ファイルアクセス制御の強化、SSHキー管理の厳格化、環境変数へのアクセス制限などが推奨されています。このツールを使用することで、MCPサーバーのセキュリティリスクを事前に検出し、適切な対策を講じることが可能となります。

本研究は、MCPを利用する際のセキュリティリスクを明確にし、AI開発者が安全なシステムを構築するための重要な指針を提供しています。McpSafetyScannerは、MCPサーバーの脆弱性を簡単にスキャンし、問題を特定して修正するための実用的なツールとして、AI開発者やエンドユーザーにとって不可欠な存在となるでしょう。

A Survey of LLM-Driven AI Agent Communication: Protocols, Security Risks, and Defense Countermeasures

Entry ID : http://arxiv.org/abs/2506.19676v1
Published : 2025-06-24
Authors : Dezhang Kong, Shi Lin, Zhenhua Xu, Zhebo Wang, Minghao Li, Yufeng Li, Yilun Zhang, Zeyang Sha, Yuyuan Li, Changting Lin, Xun Wang, Xuan Liu, Muhammad Khurram Khan, Ningyu Zhang, Chaochao Chen, Meng Han

本論文は、大規模言語モデル（LLM）を基盤としたAIエージェント間の通信におけるセキュリティリスクと防御策を包括的に調査した研究です。著者らは、エージェント通信のライフサイクルを「ユーザー-エージェント間の相互作用」、「エージェント-エージェント間の通信」、「エージェント-環境間の通信」の三段階に分類し、それぞれの段階における通信プロトコルを詳細に分析しました。

通信プロトコルとしては、AnthropicのModel Context Protocol（MCP）やGoogleのAgent-to-Agent（A2A）プロトコルなどが取り上げられ、これらがエージェント間の効率的な情報交換を可能にする仕組みとして紹介されています。しかしながら、これらのプロトコルには、データの漏洩、不正アクセス、データの改ざんなどのセキュリティリスクが潜在しており、これらがエージェント通信の安全性を脅かす可能性があると指摘されています。

著者らは、これらのセキュリティリスクに対する防御策として、通信の暗号化、認証プロトコルの強化、不正アクセス検出システムの導入などを提案しています。また、エージェントの行動監視やプロトコルの定期的な更新と監査も重要であると述べています。さらに、将来的には、より高度な暗号技術の開発や、AIエージェントの自律的なセキュリティ管理能力の向上、マルチエージェントシステムにおける協調防御メカニズムの構築が必要であるとしています。

本研究の結果として、エージェント通信の各段階における具体的なセキュリティリスクが明らかにされ、それに対する防御策が提案されました。例えば、ユーザー-エージェント間の相互作用では、悪意のある入力によるエージェントの操作やプライバシーの漏洩がリスクとして挙げられ、入力の検証とサニタイズ、ユーザー認証の強化が有効な対策として示されています。また、エージェント-エージェント間の通信では、通信の傍受やデータの改ざんが主なリスクであり、通信の暗号化と認証が重要であるとされています。

さらに、エージェント通信の将来の発展に向けて、プライバシーの保護、スケーラビリティの向上、新たな攻撃手法への対応などの課題が議論されています。これらの課題に取り組むことで、エージェント通信の安全性と効率性をさらに向上させることが期待されています。

本研究は、AIエージェント間の通信におけるセキュリティリスクを体系的に整理し、それに対する防御策を提案することで、今後の研究や実践に向けた重要な指針を提供しています。エージェント通信の安全性を確保するための技術的な基盤を構築する上で、本論文は貴重な貢献を果たしていると言えるでしょう。

Deep Research Agents: A Systematic Examination And Roadmap

Entry ID : http://arxiv.org/abs/2506.18096v1
Published : 2025-06-22
Authors : Yuxuan Huang, Yihang Chen, Haozheng Zhang, Kang Li, Meng Fang, Linyi Yang, Xiaoguang Li, Lifeng Shang, Songcen Xu, Jianye Hao, Kun Shao, Jun Wang

2025年6月22日に公開された「Deep Research Agents: A Systematic Examination And Roadmap」という論文は、Yuxuan Huang氏らによる研究であり、近年急速に進化を遂げている大規模言語モデル（LLM）を活用した自律型AIシステムであるDeep Research（DR）エージェントに焦点を当てています。この研究は、複雑なマルチターン情報研究タスクに対応するために設計されたDRエージェントの機能、課題、そして将来の方向性を体系的に検討したものです。

DRエージェントは、動的な推論、適応的な長期計画、マルチホップ情報検索、反復的なツール使用、構造化された分析レポートの生成といった高度な機能を組み合わせることで、研究プロセスを自律的に管理します。これにより、従来の方法では困難だった複雑な情報収集や分析を効率的に行うことが可能になります。例えば、DRエージェントはWebブラウザーや構造化されたAPIを通じて外部知識をリアルタイムで取得し、カスタマイズされたツールキットを活用して分析を行います。これらの機能は、大規模言語モデルを核として動作し、エンドツーエンドの研究ワークフローを自律的に管理する能力を持っています。

論文では、DRエージェントの現在のベンチマークを批判的に評価し、外部知識へのアクセス制限、シーケンシャルな実行の非効率性、評価指標と実用的な目標とのミスアラインメントなどの課題が指摘されています。これらの制限を克服するために、研究者は並列処理や非同期処理の導入、評価指標の再設計、外部知識のアクセス範囲拡大といった改善策を提案しています。また、DRエージェントの研究を体系化するための分類法を提示し、単一エージェント設定とマルチエージェント設定の特徴や利点を明確にしています。

さらに、論文では将来の研究方向として、DRエージェントの能力を拡張するための方法論が議論されています。これには、機械学習や自然言語処理技術の進化を活用し、知識グラフとの統合、リアルタイムデータ処理能力の強化などが含まれます。これらの進展により、DRエージェントはより高度な情報解析を行い、実際の問題解決において重要な役割を果たすことが期待されています。

最後に、研究者はDRエージェントの研究に関する継続的に更新されるリポジトリの提供を提案しています。このリポジトリは、関連文献、コード、データセットを含む形で構築される予定であり、研究者が最新の進歩にアクセスしやすくすることで、研究の進捗を加速することを目的としています。このような取り組みは、DRエージェントのさらなる発展と応用範囲の拡大に寄与するでしょう。

From Prompt Injections to Protocol Exploits: Threats in LLM-Powered AI Agents Workflows

Entry ID : http://arxiv.org/abs/2506.23260v1
Published : 2025-06-29
Authors : Mohamed Amine Ferrag, Norbert Tihanyi, Djallel Hamouda, Leandros Maglaras, Merouane Debbah

この論文「From Prompt Injections to Protocol Exploits: Threats in LLM-Powered AI Agents Workflows」は、大規模言語モデル（LLM）を搭載した自律AIエージェントのワークフローに存在する脅威を体系的に分析し、これらに対処するための統一されたエンドツーエンドの脅威モデルを初めて提案しています。著者らは、ホスト、ツール、エージェント間の通信にわたる脅威を包括的に理解し、適切な防御策を講じることを目的としています。

論文では、既存の攻撃技術や防御戦略に関する広範な文献レビューを行い、実世界での攻撃シナリオの評価を通じて、30種類以上の攻撃技術をカタログ化しています。これらの攻撃は、「入力操作」、「モデル妥協」、「システムおよびプライバシー攻撃」、「プロトコルの脆弱性」の4つのカテゴリーに分類され、それぞれの実現可能性や防御策が詳細に議論されています。

例えば、「入力操作」では、SQLインジェクションやクロスサイトスクリプティング（XSS）などの攻撃が挙げられ、これらに対する防御策として入力の検証とサニタイズが推奨されています。「モデル妥協」では、データポイズニングやモデル盗難が取り上げられ、これに対抗するためにデータとモデルの整合性検証や暗号化技術の使用が提案されています。また、「システムおよびプライバシー攻撃」では、フィッシングやマルウェアの配布が議論され、アンチウイルスソフトウェアや多要素認証の導入が重要とされています。「プロトコルの脆弱性」については、マン・イン・ザ・ミドル攻撃やサイドチャネル攻撃が取り上げられ、強力な暗号化やセキュアなプロトコル設計が推奨されています。

さらに、論文ではMCP（Model Context Protocol）デプロイメントのセキュリティ強化、Agentic Webインターフェースの設計と強化、マルチエージェントおよび連合環境におけるレジリエンスの実現といった具体的な課題を挙げ、これらが今後の研究方向性として提案されています。特に、動的な信頼管理や暗号学的プロベナンス追跡の導入が、エージェントの行動の透明性と説明責任を高めるために重要であるとされています。

この研究は、LLMエージェントのワークフローを保護するための堅牢な防御機構の設計とベストプラクティスの確立に向けた包括的な参考資料を提供しており、AIエージェントのセキュリティを向上させるための重要な基盤となることが期待されています。

Systematic Analysis of MCP Security

Entry ID : http://arxiv.org/abs/2508.12538v1
Published : 2025-08-18
Authors : Yongjian Guo, Puzhuo Liu, Wanlun Ma, Zehang Deng, Xiaogang Zhu, Peng Di, Xi Xiao, Sheng Wen

この研究は、Model Context Protocol (MCP) のセキュリティに関する体系的な分析を行い、その脆弱性を明らかにするとともに、効果的な防御戦略を提案することを目的としています。MCPは、AIエージェントが外部ツールとシームレスに接続するための標準プロトコルとして注目されていますが、Tool Poisoning Attacks (TPA) などのセキュリティリスクを抱えています。本研究は、現状の断片的なセキュリティ研究を補完し、実践的な攻撃分析を通じてMCPの安全性向上に寄与することを目指しています。

研究では、MCP Attack Library (MCPLIB) を構築し、31種類の攻撃手法を分類・実装しました。このライブラリは、直接ツール注入攻撃、間接ツール注入攻撃、悪意あるユーザー攻撃、LLM固有攻撃の4つの主要カテゴリに分類されています。実験データとしては、MCPエージェントの動作や脆弱性を検証するためのシミュレーションデータが使用され、攻撃成功率や脆弱性の特性が定量的に分析されました。

研究の結果、以下の重要な知見が得られました。MCPエージェントは、ファイル操作に対して特に脆弱であり、ユーザー確認なしで実行される可能性が高いことが判明しました。また、ツールの説明に過度に依存しているため、攻撃者による誤誘導が容易になることが確認されました。さらに、共有コンテキストの欠如により、チェーン攻撃や遠隔からの毒性注入が可能となることが明らかになりました。加えて、外部データと実行可能な命令を区別する能力に欠けているため、間接的なツール注入攻撃の成功を助長する設計上の問題が存在することが示されました。

これらの知見は実験によって検証され、MCPエージェント設計の改善や防御戦略の構築に向けた具体的な指針を提供しています。本研究の主な貢献として、MCP攻撃の体系的な分類、統一された攻撃フレームワークの設計と実装、実証的な脆弱性分析、そしてセキュリティ向上への指針の提案が挙げられます。

今後の課題としては、実際の運用環境におけるMCPのセキュリティ評価、新たな攻撃手法の発見と分類、MCPエージェントの防御メカニズムの実装と検証、そしてMCPのセキュリティを強化するための標準化されたガイドラインの策定が挙げられます。本研究は、MCPのセキュリティ向上に向けた重要なステップを提供しており、今後の研究と実践において大きな意義を持つものです。

MCP-Solver: Integrating Language Models with Constraint Programming Systems

Entry ID : http://arxiv.org/abs/2501.00539v2
Published : 2025-04-06
Authors : Stefan Szeider

Stefan Szeider氏による「MCP-Solver: Integrating Language Models with Constraint Programming Systems」という研究は、Large Language Models (LLMs) の論理的推論能力の限界を補うために、新たなシステムであるMCP Solverを提案しています。このシステムは、LLMsを制約プログラミングシステムや他のシンボリックソルバーと統合することで、LLMsが複雑な推論タスクをより信頼性高く実行できるようにすることを目指しています。

MCP Solverは、Model Context Protocol (MCP) を基盤としたシステムであり、LLMsとMiniZinc、PySAT、Python Z3といった複数のソルバーバックエンドを統合します。MCPはオープンソースの標準プロトコルとして設計されており、クライアント（LLM）とサーバー（ソルバー）の間に状態を保持するインターフェースを提供します。このプロトコルにより、LLMsは自然言語で記述された問題を形式的なモデルに変換し、解決する能力を得ることができます。

MiniZincは高レベルな制約モデリング言語で、グローバル制約や最適化をサポートし、幅広い問題領域に対応します。一方、PySATは命題論理の制約をCNF形式でモデル化するためのPythonインターフェースであり、複数のSATソルバーをサポートしています。さらに、Z3はSMTソルバーとして、ブール値、整数、実数、ビットベクトル、配列などの豊富な型システムを提供し、複雑な検証問題にも対応可能です。

この研究では、MCP Solverの柔軟性と堅牢性を評価するために、旅行セールスマン問題（MiniZincモード）、6クイーンと5ナイト問題（PySATモード）、プロセッサのパリティ検証（Z3モード）といった具体的な問題をテストケースとして使用しました。これらの実験結果は、MCP Solverが自然言語で記述された問題を形式的なモデルに変換し、解決する能力を持つことを示しています。

さらに、MCP Solverは、モデルの編集と反復的な検証を通じて、一貫性を保ちながら構造的な改良を行う機能を備えています。これにより、ユーザーは問題記述を動的に改良しながら、自然言語インタラクションを通じて問題解決を進めることが可能です。

今後の開発計画として、MaxSATやMUSのサポート、非同期解決インターフェースの追加、さらに多くのソルバーバックエンドの統合が予定されています。また、グラフや表形式データを処理するエンコーディングのサポートや、複雑なエンコーディングを自律的に生成・テストするマルチエージェントシステムへの統合も検討されています。

MCP Solverは、LLMsに形式的な推論能力を提供するための革新的なシステムであり、自然言語処理の強みを活かしながら、形式的な論理的推論を可能にする新たな道を切り開いています。この柔軟なアーキテクチャにより、幅広いユースケースへの対応が期待されており、今後の発展が注目されます。

LiveMCP-101: Stress Testing and Diagnosing MCP-enabled Agents on Challenging Queries

Entry ID : http://arxiv.org/abs/2508.15760v1
Published : 2025-08-21
Authors : Ming Yin, Dinghan Shen, Silei Xu, Jianbing Han, Sixun Dong, Mian Zhang, Yebowen Hu, Shujian Liu, Simin Ma, Song Wang, Sathish Reddy Indurthi, Xun Wang, Yiran Chen, Kaiqiang Song

Ming Yinらによる研究「LiveMCP-101: Stress Testing and Diagnosing MCP-enabled Agents on Challenging Queries」は、AIエージェントが外部ツールと連携して複雑なタスクを自律的に遂行する能力を評価するための新しいベンチマーク「LiveMCP-101」を提案しています。この研究は、Model Context Protocol（MCP）を活用したAIエージェントが現実世界の動的環境で直面する課題を明らかにし、次世代の自律型AIシステムの開発を促進することを目的としています。

LiveMCP-101は、Web検索、ファイル操作、数学的推論、データ分析など、複数のMCPツールを協調して使用する必要がある101の現実世界のクエリで構成されています。これらのクエリは、LLM（大規模言語モデル）によるリライトと手動レビューを通じて精査され、難易度に応じて「Easy」「Medium」「Hard」の3つのカテゴリに分類されています。さらに、各クエリには解決に必要なツールチェーンの長さが設定されており、動的な環境でのツール使用の信頼性を評価する基準を提供します。

評価方法としては、参照エージェントによる検証済みの実行計画に基づく実行と、評価対象エージェントによる自律的な実行が並行して行われます。評価対象エージェントは自然言語クエリを受け取り、与えられたツールプールから適切なツールを選択してタスクを完了します。結果は参照エージェントの出力と比較され、タスク成功率（TSR）や平均結果スコア（ARS）などの指標で評価されます。また、エージェントの軌跡（タスク実行プロセス）も評価され、論理的一貫性、完全性、正確性が測定されます。

実験結果では、最先端のLLMでも複雑なツールオーケストレーションの要求に対応するのが難しく、タスク成功率は60%未満に留まりました。さらに、エラー分析を通じて7つの共通的な失敗モードが特定されました。これには、ツール選択ミス、構文エラー、意味的エラー、出力解析ミスなどが含まれます。特に意味的エラーが多く、強力なモデルでも16〜25%の割合で発生していることが示されました。一方、オープンソースモデルでは構文エラーが顕著であり、MCP特化型のトレーニングが不足していることが原因とされています。

また、トークン効率に関する分析では、閉鎖型モデルは効率が急速に向上した後に停滞する一方で、オープンソースモデルはトークンを信頼できる証拠に変換する能力が不足していることが明らかになりました。これにより、効率性の向上が必要であることが示されています。

この研究は、動的な環境でのツール選択、計画、実行能力の課題を明らかにすることで、次世代の自律型AIシステムの開発を促進する重要な知見を提供しています。従来のベンチマークでは評価が困難だった領域を包括的にカバーしており、AI研究コミュニティにとって価値あるリソースとなることが期待されています。

LiveMCPBench: Can Agents Navigate an Ocean of MCP Tools?

Entry ID : http://arxiv.org/abs/2508.01780v1
Published : 2025-08-03
Authors : Guozhao Mo, Wenliang Zhong, Jiawei Chen, Xuanang Chen, Yaojie Lu, Hongyu Lin, Ben He, Xianpei Han, Le Sun

「LiveMCPBench: Can Agents Navigate an Ocean of MCP Tools?」という研究は、大規模なModel Context Protocol (MCP)ツールセットを活用し、日常的なタスクを解決するエージェントシステムの能力を評価することを目的としています。この研究は、従来のMCPベンチマークが抱える制約を克服し、リアルで複雑な環境におけるエージェントの性能を測定するための統一的なフレームワークを提供しました。

研究では、オフィス、ライフスタイル、レジャー、金融、旅行、ショッピングの6つの主要なドメインにまたがる95の高品質タスクを収集し、これらは時間変動性、長期的なツール利用、実用性を重視して設計されています。また、70のMCPサーバーと527のツールを含むLiveMCPToolを構築し、依存性を排除した形で再現性を重視したツールセットを提供しました。これらのツールは探索、可視化、ファイルアクセス、位置情報、その他のカテゴリーに分類されています。

評価には、LLM-as-a-Judgeを利用した自動評価フレームワークであるLiveMCPEvalを採用しました。このフレームワークは、時間変動性のあるタスクや多様な解決方法を考慮して設計されており、タスク成功率を測定するためにエージェントのツール使用履歴やタスク結果を基に評価を行います。評価結果では、10の最先端モデルを比較した結果、Claude-Sonnet-4が78.95%の成功率を達成し、最も優れた性能を示しました。一方で、モデル間で性能差が顕著であり、いくつかの一般的なモデルはツールが豊富な環境では低い性能を示しました。

さらに、研究ではMCP Copilot Agentというエージェントシステムを開発しました。このエージェントはReACT戦略を統合し、複数ステップでのツール呼び出しや動的な計画を可能にするシステムです。これにより、リアルな環境におけるタスク遂行能力を示すことができました。

この研究の重要な貢献は、ツールリッチで動的な環境におけるLLMエージェントの能力を評価するための初の統一フレームワークを提供した点にあります。これにより、スケーラブルで再現可能な研究の基盤を築き、エージェントの能力向上やツール活用の効率化に向けた新たな方向性を示しました。研究の成果として、コードとデータは「https://icip-cas.github.io/LiveMCPBench 」にて公開予定です。

MCP-Universe: Benchmarking Large Language Models with Real-World Model Context Protocol Servers

Entry ID : http://arxiv.org/abs/2508.14704v1
Published : 2025-08-20
Authors : Ziyang Luo, Zhiqi Shen, Wenzhuo Yang, Zirui Zhao, Prathyusha Jwalapuram, Amrita Saha, Doyen Sahoo, Silvio Savarese, Caiming Xiong, Junnan Li

大規模言語モデル（LLM）の性能を評価するための新しいベンチマーク「MCP-Universe」に関する研究が発表されました。この研究は、LLMがModel Context Protocol（MCP）を活用して外部データソースやツールと連携する能力を測定することを目的としています。MCPは、AIシステムが外部ツールやデータと統合するプロセスを簡素化するためのオープンスタンダードであり、JSON-RPC 2.0を基盤とした通信プロトコルを採用しています。

MCP-Universeは、位置ナビゲーション、リポジトリ管理、金融分析、3Dデザイン、ブラウザ自動化、ウェブ検索の6つの主要なドメインにまたがる11種類のMCPサーバーを使用して構築されています。このベンチマークは、現実世界の課題を反映したタスクを通じて、LLMの性能を評価するための包括的なフレームワークを提供します。評価は、フォーマット準拠性を測定するフォーマット評価器、静的なタスクの正確性を測定する静的評価器、リアルタイムデータを必要とする動的タスクを評価する動的評価器の3種類の評価器を用いて行われます。

実験では、GPT-5、Grok-4、Claude-4.0-Sonnetなどの最先端モデルが評価されましたが、トップモデルでも成功率は43.72%に留まりました。特に、長期的なコンテクスト処理や未知のツールの使用に関する課題が明らかになりました。例えば、位置ナビゲーションやブラウザ自動化のタスクでは、入力トークン数が急速に増加し、モデルの性能が制限されることが確認されています。この問題に対処するため、要約エージェントを導入してコンテクスト長を削減する試みが行われましたが、改善は限定的でした。

また、フォーマット評価器では多くのモデルが80%以上の成功率を示した一方で、コンテンツ評価器では40〜60%に留まりました。この結果は、失敗の主な原因がフォーマット準拠性ではなく、コンテンツ生成の正確性にあることを示しています。さらに、成功率が高いモデルほど平均ステップ数が多い傾向があり、効率性と成功率のバランスが課題となっています。

MCP-Universeは、現行のLLMが現実世界のMCPタスクを信頼性高く遂行する能力にまだ不足があることを示しています。このベンチマークは、LLMの性能向上に向けた研究と開発を促進する重要な基盤を提供します。さらに、オープンソースの評価フレームワークを通じて、研究者や実務者が新しいエージェントやMCPサーバーを統合しやすくする環境を整備し、MCPエコシステムの革新を支援します。

A Survey of AI Agent Protocols

Entry ID : http://arxiv.org/abs/2504.16736v3
Published : 2025-06-21
Authors : Yingxuan Yang, Huacan Chai, Yuanyi Song, Siyuan Qi, Muning Wen, Ning Li, Junwei Liao, Haoyi Hu, Jianghao Lin, Gaowei Chang, Weiwen Liu, Ying Wen, Yong Yu, Weinan Zhang

この論文「A Survey of AI Agent Protocols」は、AIエージェントプロトコルに関する包括的な調査を行い、その分類、評価、比較を通じて現行の課題や将来の研究方向を明確化することを目的としています。特に、LLM（Large Language Model）エージェントの進化を支えるプロトコルの役割に焦点を当て、効率性、拡張性、セキュリティ、信頼性などの観点から分析が行われています。

調査には、Anthropic、Google、NEAR Foundation、IBM、Ciscoなどの企業や学術機関が提案したプロトコルが含まれ、それらの開発段階や適用シナリオが分析されています。プロトコルは「文脈指向（Context-Oriented）」と「エージェント間（Inter-Agent）」の2つの主要カテゴリに分類され、それぞれを汎用型とドメイン特化型に細分化しています。評価基準としては、効率性、拡張性、セキュリティ、信頼性、運用性、相互運用性が用いられています。

文脈指向プロトコルの代表例としてMCP（Model Context Protocol）が挙げられ、LLMエージェントと外部リソース間の相互作用を標準化することで、断片化の解消やセキュリティ強化を実現しています。一方、エージェント間プロトコルではA2AやANPが重要な役割を果たし、複数のエージェント間での効率的な通信と協調を支援しています。ドメイン特化型プロトコルでは、IoTやロボットエージェントとの相互作用を目的としたプロトコルが含まれています。

評価結果では、汎用プロトコルが拡張性と標準化の面で優れている一方、ドメイン特化型プロトコルは特定の用途に最適化されているため効率性が高いとされています。また、セキュリティや信頼性の観点から、プライバシー保護とデータ漏洩防止が重要な課題として挙げられています。

展望としては、短期的には評価フレームワークの統一が進み、中期的にはエージェント間の協調を支えるプロトコルエコシステムの形成が予測されています。さらに、長期的には進化可能なプロトコルやインテリジェンスインフラがエージェントの適応性を向上させると期待されています。

結論として、この研究はAIエージェントプロトコルの体系的な分類と評価を通じて、現在の技術の限界と将来の方向性を明確化しました。特に、進化可能なプロトコルやメッシュ型エージェントプロトコルの提案は、エージェント間の効率的な通信と協調を促進する重要なステップとなるでしょう。これにより、AIエージェントの能力がさらに拡張され、複雑なタスクや新しい環境への適応が可能になると期待されています。

MCP-Bench: Benchmarking Tool-Using LLM Agents with Complex Real-World Tasks via MCP Servers

Entry ID : http://arxiv.org/abs/2508.20453v1
Published : 2025-08-28
Authors : Zhenting Wang, Qi Chang, Hemani Patel, Shashank Biju, Cheng-En Wu, Quan Liu, Aolin Ding, Alireza Rezazadeh, Ankit Shah, Yujia Bao, Eugene Siow

MCP-Benchは、大規模言語モデル（LLM）エージェントが現実世界の複雑なタスクを処理する能力を評価するために設計された新しいベンチマークツールです。この研究は、エージェントが長期的な計画能力、マルチサーバー環境での調整能力、ツール使用の適切性など、現実世界の複雑な要件をどの程度満たせるかを体系的に分析することを目的としています。

MCP-Benchは、28の代表的なMCPサーバーを使用し、これらはメディア＆エンターテインメント、研究＆知識、金融、科学、ソフトウェア開発、地理＆旅行、健康など11の機能領域にまたがっています。これらのサーバーは合計250のツールを提供し、単一ツールサーバーから複数ツールを持つプラットフォームまで多様性に富んでいます。このような多様なツールセットを活用することで、研究者や開発者はLLMエージェントの性能を評価する際に、現実世界の複雑なタスクに近い環境を再現することが可能となります。

評価は単一サーバーとマルチサーバーの設定で行われ、以下の6つの評価軸に基づいて性能が測定されます：タスク完遂、情報の根拠性、ツールの適切性、パラメータの正確性、依存関係の認識、並列性と効率性。また、ルールベースのLLM判定基準を使用して、構造の一貫性、依存関係の認識、反射的適応などを評価します。

研究結果によると、単一サーバー設定では、gpt-5、o3、およびqwen3-235b-a22b-2507などのトップモデルが、タスク完遂、情報の根拠性、ツールの適切性において他のモデルを大きく上回る性能を示しました。これらのモデルは依存関係の認識と並列性効率において0.70以上のスコアを達成し、特に計画効果において顕著な優位性を発揮しました。一方、マルチサーバー設定では、タスクの複雑性が増すにつれて弱いモデル（例: llama-3-1-70b-instruct）はパフォーマンスが低下する傾向が見られましたが、gpt-5やo3などの強力なモデルはスコアの安定性を維持しました。特にgpt-5は依存関係認識において最も高いスコア（0.76）を記録しました。

全体的な性能では、gpt-5が単一サーバー設定とマルチサーバー設定の両方で最も高い総合スコア（約0.75）を達成し、o3やqwen3-235b-a22b-2507も競争力のあるスコア（0.70以上）を維持しました。これにより、実行品質だけでなくスケーラビリティへの適応が重要な差別化要因であることが示されました。

分析の結果、基本的なスキーマ準拠やツール名の正確性に関しては、ほとんどのモデルが95%以上の精度を達成しており、低レベルの能力はほぼ収束していることが分かりました。しかし、マルチサーバー環境でのスケーラビリティに関しては、サーバー数が増加するにつれてタスクの複雑性が増加し、強力なモデルはスコアの安定性を維持する一方で、弱いモデルは性能が著しく低下する傾向が見られました。また、計画効果に関しては、トップモデルと弱いモデルの間で顕著な性能差があり、依存関係認識や並列性効率が最先端モデルと基準モデルを分ける主要な要素であることが示されました。

この研究は、LLMエージェントが複雑な現実世界のタスクを処理する能力を評価するための新しい基準を提供し、今後のモデル設計やアルゴリズムの最適化に向けた重要な洞察を与えています。特に、長期的な計画能力の向上やマルチサーバー環境での適応性の強化が、今後の課題として挙げられています。

Anemoi: A Semi-Centralized Multi-agent System Based on Agent-to-Agent Communication MCP server from Coral Protocol

Entry ID : http://arxiv.org/abs/2508.17068v2
Published : 2025-08-27
Authors : Xinxing Ren, Caelum Forder, Qianbo Zang, Ahsen Tahir, Roman J. Georgio, Suman Deb, Peter Carroll, Önder Gürcan, Zekun Guo

Anemoiは、従来のマルチエージェントシステム（MAS）の制約を克服するために設計された革新的な半集中型マルチエージェントシステムです。このシステムは、従来の中央集約型設計における計画エージェントへの過度な依存や、エージェント間の直接的なコミュニケーション不足という課題を解決することを目的としています。

Anemoiの中心的な技術は、Coral Protocolが提供するAgent-to-Agent（A2A）コミュニケーションMCPサーバーです。このサーバーは、エージェント間の構造化された情報交換を可能にし、エージェント発見、スレッド管理、メッセージ交換といった機能を提供します。これにより、従来のプロンプト結合や手動のコンテキスト注入に依存する設計を廃止し、冗長性や情報損失を最小化しています。

Anemoiは、計画エージェントが初期計画を提供し、作業エージェントが直接協力して進捗を監視、ボトルネックを解決、改善案を提案する半集中型設計を採用しています。この設計により、中央計画エージェントへの依存度が軽減され、タスク遂行中に計画を動的に更新する能力が向上しています。また、トークン消費を削減し、スケーラビリティとコスト効率を向上させることにも成功しています。

Anemoiの性能は、現実世界の複数ステップのタスクを評価するGAIAベンチマークを用いて検証されました。このベンチマークでは、ウェブ検索、マルチモーダルファイル処理、コーディング能力が評価されます。Anemoiは、小規模な言語モデル（GPT-4.1-mini）を計画エージェントとして使用した場合でも52.73%の精度を記録し、同じ構成での最強のオープンソースベースラインであるOWL（43.63%）を+9.09%上回る性能を達成しました。この結果は、Anemoiの設計が小規模なLLMでも高い性能を維持できることを示しています。

さらに、Anemoiの実装はオープンソースとして公開されており、GitHub（https://github.com/Coral-Protocol/Anemoi ）で利用可能です。これにより、研究者や開発者がこのシステムを活用し、さらなる改良を行うことが期待されています。

Anemoiの設計は、MASのスケーラビリティ、効率性、柔軟性を向上させる新しいパラダイムを提供しています。特に、小規模なLLMを使用した場合でも高い性能を維持できる点が注目されます。今後は、通信遅延やツールの制約、LLMの能力限界といった課題への対応が求められますが、これらの改善を通じて、MASの性能をさらに向上させることが期待されます。Anemoiは、インターネット上のエージェントネットワーク構築という広範なビジョンに向けた重要な一歩を示しています。

MCP-Guard: A Defense Framework for Model Context Protocol Integrity in Large Language Model Applications

Entry ID : http://arxiv.org/abs/2508.10991v2
Published : 2025-08-22
Authors : Wenpeng Xing, Zhonghao Qi, Yupeng Qin, Yilin Li, Caini Chang, Jiahui Yu, Changting Lin, Zhenzhen Xie, Meng Han

Wenpeng Xingらによる研究「MCP-Guard: A Defense Framework for Model Context Protocol Integrity in Large Language Model Applications」は、大規模言語モデル（LLMs）と外部ツールの相互作用におけるセキュリティ脆弱性を防ぐための新しい防御フレームワーク「MCP-Guard」を提案しています。この研究は、LLMsが外部ツールと連携する際に使用されるModel Context Protocol（MCP）の脆弱性を特定し、プロンプトインジェクションやデータ流出などの攻撃をリアルタイムで検出・緩和することを目的としています。

MCP-Guardは、効率性と精度を兼ね備えた3段階の検出パイプラインを採用しています。第1段階では、軽量な静的スキャンを用いてSQLインジェクションや機密ファイルのパターンを迅速に検出します。第2段階では、E5テキスト埋め込みモデルを微調整した深層ニューラルネットワークを使用し、より複雑な意味的攻撃を高精度で識別します。最終段階では、軽量なLLM仲裁機能を通じて前段階の結果を統合し、誤検出を最小化しつつ最終的な判断を行います。この設計により、MCP-Guardはリアルタイムフィルタリングやスケーラビリティを実現し、動的な脅威に柔軟に対応する能力を備えています。

さらに、研究ではMCP-Guardのトレーニングと評価のために、70,000以上のサンプルを含む包括的なベンチマークデータセット「MCP-AttackBench」を開発しました。このデータセットは、公開データセットから収集されたデータとGPT-4を用いて生成されたサンプルを組み合わせて構築されており、MCP形式に特化した多様な攻撃ベクトルをシミュレーションします。これにより、セキュリティモデルの性能を評価するための標準的な基盤を提供し、再現可能な研究を促進します。

実験結果によれば、MCP-Guardは89.63%の精度と89.07%のF1スコアを達成し、敵対的プロンプトの検出において96.01%の精度を示しました。また、第1段階の軽量スキャンでは2ミリ秒未満の低遅延処理を実現しており、リアルタイム運用に適した設計となっています。これらの結果は、MCP-Guardが従来のセキュリティシステムを大幅に上回る性能を持つことを示しています。

ただし、研究にはいくつかの限界が指摘されています。MCP-GuardはMCPを主要なプロトコルとして仮定しているため、APIやプラグインなど他のインターフェースへの一般化は未検証です。また、ネットワーク遅延が処理時間に影響を与える可能性があります。今後の課題として、新しいLLMアーキテクチャとの統合や動的な攻撃シナリオを含むMCP-AttackBenchの拡張、実環境でのフィールド試験を通じた長期的な堅牢性と適応性の検証が挙げられています。

この研究は、ゼロトラストアーキテクチャの原則を取り入れつつ、リアルタイムの動的フィルタリングを可能にする設計を採用しており、MCPエコシステムにおけるセキュリティの向上に寄与する重要な成果を提供しています。

Beyond the Protocol: Unveiling Attack Vectors in the Model Context Protocol (MCP) Ecosystem

Entry ID : http://arxiv.org/abs/2506.02040v3
Published : 2025-08-20
Authors : Hao Song, Yiming Shen, Wenxuan Luo, Leixin Guo, Ting Chen, Jiashui Wang, Beibei Li, Xiaosong Zhang, Jiachi Chen

Model Context Protocol (MCP) エコシステムにおけるセキュリティリスクを体系的に分析した研究が注目を集めています。この研究は、MCPエコシステムにおける攻撃ベクトルを特定し、その影響を評価することを目的としています。MCPは、LLM（大規模言語モデル）アプリケーションと外部ツールやリソース間のシームレスな相互作用を可能にする新しいプロトコルですが、そのクライアント-サーバー統合アーキテクチャが新たなセキュリティ上の脆弱性をもたらす可能性があります。

研究では、Smithery.ai、MCP.so、Glamaの3つの主要なMCP集約プラットフォームに悪意のあるMCPサーバーをアップロードし、これらのプラットフォームの監査メカニズムの有効性を評価しました。さらに、20名の参加者を対象としたユーザースタディを実施し、悪意のあるサーバーがユーザーに与える影響を分析しました。また、Claude 3.7、GPT-4o、DeepSeek-v3、Llama 3 Herd、Gemini 2.5 Proといった5つの主要なLLMを対象にProof-of-Concept (PoC) フレームワークを用いて攻撃の実行可能性を検証しました。

研究は、MCPエコシステムにおける4つの主要な攻撃タイプを特定しました。それらは以下の通りです：

1. Tool Poisoning Attack: 悪意のあるMCPサーバーがツールの説明に有害な指示を埋め込み、LLMがそれを解釈することでエージェントの挙動を操作する攻撃。
2. Puppet Attack: 悪意のあるサーバーがLLMを誤った指示に従わせるよう操作し、ユーザーが意識しないままエージェントの動作を制御する攻撃。
3. Rug Pull Attack: 信頼されているサーバーが突然悪意のある挙動を示し、予期せぬ操作を引き起こす攻撃。
4. Exploitation via Malicious External Resources: 外部リソースにアクセスする際に悪意のあるリソースを利用し、ユーザーのローカル環境に害を与える攻撃。

実験結果では、悪意のあるMCPサーバーが3つの主要なプラットフォームに抵抗なくアップロードされることが確認され、現在の監査メカニズムが不十分であることが示されました。また、ユーザースタディでは、参加者が悪意のあるサーバーを特定するのに苦労し、情報の非対称性がユーザーのセキュリティ判断を困難にしていることが明らかになりました。さらに、攻撃成功率（ASR）は平均66%に達し、特にExploitation via Malicious External Resourcesでは81%を超える成功率が確認されました。一方、LLMが悪意のある指示に対して拒否する率（RR）は23%以下に留まりました。

研究は、MCPエコシステムが直面する4つの主要なセキュリティ課題を指摘しています。これには、ユーザーのセキュリティ問題への理解不足、セキュリティアラートに対する感覚鈍化、責任帰属の曖昧さ、LLMの防御能力の欠如が含まれます。これらの課題に対処するため、セキュリティゲートウェイの導入、RLHF（Reinforcement Learning from Human Feedback）やプロンプト中心の調整技術の活用、統一されたセキュリティ基準の導入が提案されています。

本研究の透明性を確保するために、ソースコード、ユーザースタディの詳細、実験データが公開されており、これらは以下のURLでアクセス可能です: https://github.com/MCP-Security/MCP-Artifact。この研究は、MCPエコシステムのセキュリティを向上させるための重要な一歩となると期待されています。

MCPTox: A Benchmark for Tool Poisoning Attack on Real-World MCP Servers

Entry ID : http://arxiv.org/abs/2508.14925v1
Published : 2025-08-19
Authors : Zhiqiang Wang, Yichao Gao, Yanting Wang, Suyuan Liu, Haifeng Sun, Haoran Cheng, Guanquan Shi, Haohua Du, Xiangyang Li

Model Context Protocol (MCP) を利用する大規模言語モデル (LLM) エージェントが直面するセキュリティ脅威、特に Tool Poisoning Attack (TPA) の脆弱性を体系的に評価することを目的とした研究が発表されました。この研究は、MCPエコシステムにおける安全性の課題を明らかにし、実世界のMCPサーバーを基盤とした初のベンチマーク「MCPTox」を構築することで、これまで個別のケーススタディとして扱われてきた問題を大規模に評価する試みです。

Tool Poisoning Attack とは、ツールのメタデータに悪意のある指示を埋め込むことで、エージェントが不正な操作を実行するよう誘導する攻撃です。この研究では、45の実世界のMCPサーバーと353の正規ツールを基盤とし、10種類のリスクカテゴリーを網羅する1312件の悪意あるテストケースを作成しました。これらのテストケースは、Privacy Leakage（プライバシー漏洩）やMessage Hijacking（メッセージ乗っ取り）などの脅威を含む多様な攻撃シナリオを再現しています。

研究者は、攻撃のトリガー方法と動作を評価するために、3つの攻撃パラダイムを定義しました。具体的には、明示的トリガーによる機能ハイジャック、暗黙的トリガーによる機能ハイジャック、そして暗黙的トリガーによるパラメータ改ざんが含まれます。これらの攻撃は、少ショット学習技術を活用して生成された悪意あるツール記述を基に設計され、さらに手動で検証・修正されました。

評価の結果、20の主要なLLMエージェントがTool Poisoning Attackに対して脆弱であることが判明しました。例えば、o1-miniモデルでは攻撃成功率が72.8%に達し、より能力の高いモデルほど脆弱性が高まる傾向が確認されました。これは、指示を正確に従う能力が高いモデルほど、悪意ある記述に引き込まれやすいことを示しています。一方で、エージェントが攻撃を拒否する割合は非常に低く、最も高い拒否率を示したClaude-3.7-Sonnetでも3%未満でした。この結果は、現行の安全性対策が不十分であることを示しています。

この研究は、Tool Poisoning Attackが実世界のMCPサーバーにおいて広範な脅威であることを初めて大規模に証明しました。また、MCPToxベンチマークを公開することで、AIエージェントの安全性を検証可能な基盤を提供し、今後の研究や開発において重要な役割を果たすことが期待されています。さらに、ツールのメタデータに対する信頼性評価や、悪意ある記述を検出するアルゴリズムの強化など、具体的な対策が求められています。この研究は、MCPエコシステムの安全性向上に向けた重要な一歩となるでしょう。

おわりに

大規模言語モデル（LLM）を基盤とするAIエージェントの進化に伴い、Model Context Protocol（MCP）が提供する外部ツールとの統合能力は、AIシステムの柔軟性と効率性を大幅に向上させる可能性を秘めています。しかしながら、MCPを活用するエコシステムは、その利便性の裏に潜むセキュリティ脆弱性や設計上の課題が明らかになりつつあります。本総説では、MCPを中心とした最新の研究成果を統合し、その意義と課題を体系的に整理しました。

各研究は、MCPのセキュリティリスク、エージェント間通信プロトコルの設計、ツール利用の効率性、そして複雑な現実世界のタスクへの適応能力に焦点を当てています。特に、Tool Poisoning Attackやプロンプトインジェクションなどの攻撃ベクトルは、MCPエコシステムの脆弱性を浮き彫りにし、これらの脅威に対処するための防御フレームワークやベンチマークが提案されています。また、MCPを活用したエージェントの性能評価では、長期的な計画能力やツール使用の適切性が課題として指摘され、これらを改善するための新たなアプローチが模索されています。

今後の研究方向としては、以下の重要な課題が挙げられます。第一に、MCPエコシステム全体のセキュリティを強化するための統一的な基準と防御メカニズムの確立が必要です。第二に、エージェント間通信プロトコルの効率性と信頼性を向上させ、マルチエージェントシステムにおける協調性を最大化する技術的進展が求められます。第三に、現実世界の動的環境におけるエージェントの適応能力を評価するためのベンチマークの拡張と標準化が不可欠です。さらに、進化可能なプロトコル設計や、エージェントの柔軟性を高める新しいアーキテクチャの開発も期待されます。

MCPを基盤とするAIエージェントの研究は、単なる技術的進歩に留まらず、社会的影響や倫理的課題にも深く関わる領域です。これらの課題に取り組むことで、AIエージェントが安全かつ効率的に運用され、現実世界の複雑な問題解決に寄与する未来が実現されるでしょう。本総説が示す知見は、MCPエコシステムのさらなる発展と応用範囲の拡大に向けた重要な基盤となると確信しています。