📖
企業のための Agentic Retrieval と AI Search 📚
以下のBuild セッションがすごい良かったので整理してみてみた。
⚡TL;DR（3行まとめ）
- 検索→エージェント時代へ：LLM が自律的にクエリを分解・再検索する “Agentic Retrieval” と Knowledge Agent API がプレビュー公開
- データ側はマルチモーダル化：画像＋テキストを自動抽出・Embedding し、Logic Apps で外部ソースも一括取り込み
- エンタープライズ機能強化：ADLS ACL 引き継ぎによる Document-level Access Control と Purview Sensitivity Label 連携がプレビュー
1.🌍背景とセッション位置づけ
Satya Nadella 氏が朝の基調講演で示した Azure AI Foundry スタックのうち、本セッションは「知識基盤（Retrieval 層）」を深掘り。
開発初期の “単発 RAG” から 目的特化・多段クエリ 型へ進化させる道筋を示した。
Azure AI Searchは、RAG/エージェント型AIアプリの現実世界のデータへの接続ポイントとして、今や欠かせない基盤になっている。
2.🤖Query Pipeline：Agentic Retrieval
2.1 従来型RAGとAgentic Retrievalの違い
| 旧パターン | 新パターン |
|---|---|
| ユーザー問い合わせ → Top-K 検索 → LLM 1 回呼び出し |
Knowledge Agent が ① 会話履歴を解析しクエリ分解 ② 並列検索＋再ランク ③ 結果をマージし引用付きで返却 |
- これまでのRAGでは、単発クエリでTop-K文書を取得→LLMに渡して回答。
- しかし現実のユーザーは、複数の話題/参照/文脈を混ぜた会話的な質問をするケースが増えている。
- これを解決するのがAgentic Retrieval。エージェント自身がクエリ分解やリライト、複数回の検索・集約を自動実行し「LLMが使いやすい形」にまとめて渡す。
2.2 Knowledge Agent APIのポイント
- 会話履歴そのまま（chat history）をAPIに渡すと、内部で最適な検索シナリオ（パラフレーズ/分岐/並列検索）を自動構成
- 検索履歴や前後関係・曖昧な参照・タイプミスも文脈で補正
- 返却される内容は
- LLMに入力できる最適化済み文脈
- 検索プラン（どのような検索を何回に分けて実行したか）
- 引用元情報（citations）
- Microsoft社内の大規模評価で**複雑質問での回答関連度+40%、ヒット率+30%**を実現
2.3 評価結果の比較
実際の評価グラフ。特にどのようなユースケースにおいては、Agentic retrieval が向いているか？
3.🖼️Data Pipeline：マルチモーダル & Logic Apps連携
3.1 マルチモーダル文書（画像＋テキスト）の検索対応
-
Image Verbalization Skill：画像をLLM（GPT-4等）に見せて「画像説明テキスト」を生成→Embeddingへ統合。
例：図やチャートの細かな内容も自然言語で検索可能に。 - Document Layout Skill：文書内の図表やセクション位置の情報を保持し、検索結果や回答生成で「どの図・どの部分」がヒットしたかを可視化。
-
Knowledge Store：抽出したテキストや画像、レイアウト情報をストレージに保存。アプリケーション側からURI指定で個別呼び出し可能。
3.2 データ取り込み自動化
- AzureポータルのImport & Vectorize Wizardから、Blob/OneLake/ADLSなどAzure内外のストレージを直結し、ドラッグ&ドロップで取り込みOK
-
Logic Apps integration：OneDrive, Box, SQL等のSaaSや外部データも自動スケジュールで同期。継続的なデータ追加もノーコードで。
4.🔍検索品質アップ：Vector Search & Semantic Ranker 2.0
| 新機能 | 概要 |
|---|---|
| Multi-vector | 1ドキュメント内に複数埋め込みベクトルをネスト可。FAQやカタログ等でパーツ単位の精緻検索が可能に。 |
| Semantic Ranking強化 | 複数ラウンドの再ランク（RRF）や@search.rerankerBoostedScoreによる柔軟な関連度制御。 |
| Query Rewrite | ユーザーの曖昧/複雑なクエリをセマンティックに分割・最適化。高いRecallを維持しつつ高精度を実現。 |
全体のフロー
5.🛡️Enterprise Security：ACL & Sensitivity Label
5.1 Document-level Access Control（プレビュー）
- ADLS Gen2や他Azureサービスで設定した**ACL（アクセス制御リスト）**を自動でインデックスに伝搬
- 検索API利用時、Entra IDトークンを付与すると「そのユーザー・グループのみが閲覧可能なデータだけ」を自動抽出
- RBAC Role, Users, Groups情報はドキュメントフィールドで管理し、API設定だけで運用可能
5.2 Microsoft Purview Sensitivity Labels 連携（Private Preview）
- Purviewで付与した「機密/社外秘」等のラベル＋ポリシーが文書本体に埋め込まれる
- インデックス時に復号し、検索・LLM回答時には「ラベルに基づく閲覧/利用権限制御」が自動的に適用
- これにより、暗号化文書もエンドツーエンドで安全に検索→生成AI連携が可能
6.🛠️Developer Experience：MCP Server × VS Code
- Azure MCP ServerをVS Code Copilot Chatから利用することで、Azure内リソースのメタデータ（スキーマ・用途説明）をエージェントやAIと直接やり取り可能
- インデックスの
descriptionフィールド等に用途/構造/サンプルを書いておけば、Copilot/エージェントが自動でUIテンプレートやコードを生成できる - 「どのインデックスを使えば良い？」「このデータはどんな形式？」なども対話的に質問・自動実装できる新時代の開発体験
7.📝今後のアクション
| やりたいこと | 参考リンク |
|---|---|
| Agentic Retrieval を試す | Quickstart & API Docs |
| マルチモーダル検索サンプルをデプロイ | チュートリアル |
| ACL / Sensitivity Label Preview 参加 | Preview Docs & 申込フォーム |
8.🧪Try：実際に試すリソース
| 種別 | 内容 | リンク |
|---|---|---|
| Private preview | Sensitivity labels（機密ラベル検索）プレビュー参加 | aka.ms/AISearch-senslabels |
| Demo | Agentic retrieval 検索デモ | aka.ms/ragchat |
| Demo | Multimodal検索デモ（例：画像＋テキスト） | aka.ms/aisearch-multimodal |
| GitHub repo | Azure MCP（Managed Control Plane）レポジトリ | aka.ms/azure-mcp |
| GitHub repo | Foundry MCPサーバー構築サンプル | aka.ms/foundry-mcp |
おわりに
RAGアプリは 「検索精度 × データ整備 × セキュリティ」 の三位一体が重要。
Build 2025 で示された新API群により、煩雑だった クエリ分解・マルチモーダル化・権限制御 が “サービス組み込み” へと進化した。
Agent-friendly なメタデータ（description等）を積極活用し、LLM × Search の生産性ギャップ を一気に縮めよう。
参考：Pablo Castro セッションより拾った “細かいTips”
- 「単発検索が万能だった時代は終わり」。複雑な会話文脈・曖昧参照・タイプミスなど“現実的な質問”こそAgentic Retrievalが威力を発揮
- **エージェントAPIでは “どのフィールドを見るか” より “会話全体をどう理解・分割するか” を自動で判断する
- マルチモーダル時代：「図解やレイアウトの“どこ”が回答根拠になったか」も引用情報付きで返せる
- セキュリティ実装の民主化：ACL/Sensitivityラベルも“インデックス設計とAPI設定だけ”で運用可能に
- 開発者体験DX：Copilot+MCPサーバで「対話的スキーマ調査→即UI自動生成→クエリサンプル取得」までノーコードで！
Discussion