【Microsoft Foundry】- AI Gatewayとは?
執筆日
2025/1/6
はじめに
最近 AI Gateway という言葉をよく耳にするようになりました。
しかし、
- API Gatewayと何が違うのか?
- なぜ今になって必要なのか?
- Azureでは何を使えばよいのか?
など正直理解できていないです。
本記事では、AI Gatewayとは何か?なぜ必要なのか?どのように使われているのか? を、
MVA・マイクロサービス・MCP の文脈から整理します。
あくまでも初心者が勉強したまとめ記事になります。
間違いがあれば指摘お願いしますmm
AI Gatewayとは?
AI Gateway は、AIファーストなシステム向けに設計された基盤です。
プロンプトの処理やキャッシュの利用、安全性ポリシーの適用、モデル(プロバイダー)へのルーティング、コンテキストの最適化、モデル呼び出しやリトライ制御、利用状況・コストのログ記録を担います。これにより、AIとのやり取りをスケーラブルかつ安全に、さらにコストを可視化・管理しながら本番運用できるようにします。
AI GatewayとAPI Gatewayの違い
-
対象:従来のソフトウェア向け
-
役割:API通信の 入口管理
-
主な機能
- 認証・認可
- ルーティング
- レート制限
- ログ・監視
AI Gateway
-
対象:AIファーストなシステム向け
-
役割:LLMとの対話そのものを管理
-
主な機能
- プロンプト処理・キャッシュ
- セーフティ/ポリシー適用
- モデル・プロバイダ選択
- コンテキスト最適化
- リトライ制御
- 利用量・コスト追跡
なぜAI Gatewayが必要になった背景は何か?
個人の見解です..
背景①:生成AIアプリの爆発的増加(2023〜)
- GPT,Gmini,AnthropicなどLLMモデルの誕生
- 複数サービス(SaaS / 内製 / 外部API)の乱立
- Tool Calling / Agent / RAG の一般化
「どのAIを、誰が、どの条件で使っているのか」分からなくなった
背景②:MVAアーキテクチャの登場
従来の MVC に対し、
ControllerをAI(LLM)に置き換える設計思想が登場しました。
- ユーザー入力:自然言語
- 判断ロジック:LLM
- 処理分岐:Function Calling / Tool
制御点がアプリではなくLLM側に移動
背景③:マイクロサービス/MCP
生成AI文脈では、
- 機能のマイクロサービス化
- MCP(Model Context Protocol)によるツール公開
が重要になりました。
ここで問題になるのが 認証・認可・監査。
AI Gatewayを提供する代表的サービス
Cloudflare AI Gateway
Cloudflare
- AI専用Gateway
- Token・Model別の可観測性が非常に強い
- SaaS型で導入が容易
Envoy / Gloo AI
Solo.io
- Kubernetesネイティブ
- 自前制御・高カスタマイズ向け
- エンタープライズ向け
Azure API Management
Microsoft
- 生成AIに関連するエンドポイントを安全に管理し、スケールし、監視するための一連の機能とポリシー
- AI を活用するアプリやエージェントの運用が効率化
Azure API ManagementでできるAI Gatewayの機能
管理対象となる AI エンドポイント
AI Gatewayを使うと、以下のようなバックエンドを API として統合・管理できます:
- Microsoft Foundry/Foundry Models の Azure OpenAI デプロイ
- Azure AI モデル推論 API
- MCP(モデルコンテキストプロトコル)サーバー
- OpenAI 互換モデル(他プロバイダー含む)
- セルフホステッドモデル/エンドポイント
Azure API Managementの主要な機能
1. トラフィック制御とポリシー
- OpenAI互換LLMのエンドポイントを API としてインポート/構成
- REST APIをMCP サーバーとして公開
- A2A エージェント API のインポートと管理 (プレビュー)
- 負荷分散やサーキットブレーカー(バックエンド障害時の回復制御)も可能
2. スケーラビリティとパフォーマンス管理
-
トークンベースのレート制限/クォータ制御
このポリシーを使用すると、時間単位、日単位、週単位、月単位、年単位など、指定した期間の TPM 制限またはトークンクォータを設定できます。 -
セマンティックキャッシュで類似プロンプトの応答を再利用し、トークン消費と応答時間を削減
前のプロンプトの結果 (完了) をキャッシュし、プロンプトのベクトル近接性を以前の要求と比較して再利用することで、LLM API のパフォーマンスを向上させる手法です。 この手法により、AI サービス バックエンドに対する呼び出しの数が減り、エンド ユーザーの応答時間が向上し、コストの削減に役立ちます。
3. セキュリティと安全性
- Managed Identity による安全な認証(API キー不要)
- OAuth 認可フローの構成
- Azure AI Content Safety との連携でプロンプト内容の自動モデレート(ポリシー適用)
4. ガバナンス
- トークン使用ログとメトリック収集
→ Application Insights/Azure Monitor へ送信して分析 - 組み込みダッシュボードで消費パターンを可視化
- ガバナンスや課金・監査のトラッキングに活用可能
参考記事
Discussion