🚀Azure AI Agent Service を徹底解説！クリスマスイブ!?終わらせましょう(令和ロマン風)🚀

こちらの記事は､Azure PoC部 Advent Calendar 2024の24日目の記事となります｡

☝️これは Azure + Agent + クリスマスというワードでChatGPTに生成させた画像です

はじめに

こんにちは！クリスマスイブ/クリスマスシーズンもとい､M-1などがこの記事を書いてる最中にありました｡2024年も2023年に引き続き､令和ロマンがM-1優勝を勝ち取ったり､クリスマス(何回言うんだw)シーズンな世間は浮かれているとは思いますが･･･

終わらせましょう!!(分かる人には分かるネタ言い回しです)

今回は Microsoft Ignite 2024 で発表され、つい先週パブリックプレビューが開始されたばかりの Azure AI Agent Service を取り上げ、複雑な処理を自動化したり、大規模言語モデル（LLM）を活用した高度なエージェントを手軽に作る方法を解説していきたいと思います!

少し強引に話に入っていきますと､ここ2年で ChatGPT や Bing、Copilot など、様々な生成AIが利用できるようになり、AIアシスタントは一段と身近な存在になりました。しかし、Assistants API だけでは対応しきれない機能を自分のアプリやサービスに組み込みたい、あるいは独自のデータソースや機能と連携させたいというニーズがある一方で、単に LLM の API を呼び出すだけでは不十分なケースも少なくありません。

そこで注目したいのが本記事のメインテーマとしたい Azure AI Agent Service です。Azure OpenAI のようにモデルへ直接リクエストを送るだけでなく、「ファイル検索（RAG）」「コード実行」「外部関数呼び出し」「Bing検索」といった多様な機能を組み合わせた“エージェント”をサーバーサイドで一元的に管理できます。さらに、トークン管理やツールの呼び出しを自動化する仕組みも用意されており、これまでよりも遥かに簡単に複雑なAIワークフローを実装できるようになります。

本記事では、Azure AI Agent Service と Azure AI Foundry の概要から、実装例のコード、コンテンツフィルタの使い方、そして Evaluation 機能による品質評価までを徹底的に解説していきます。ぜひ最後までお付き合いください！

👇️ Ignite に関するまとめ記事はこちらにもまとめています。合わせてチェックしてみてください。
https://zenn.dev/chips0711/articles/5f5fce5957764e

それでは、まずLLMを活用する上で重要なポイントとなる「エージェント」と「ワークフロー」それぞれの特徴や使い分けについて見ていきましょう。(とはいえ､実際にはっきりとした区別は難しい部分もありますが、重要なポイントなので触れておきたいと思います。)

エージェントとワークフロー：LLM活用の基本パターン

「エージェント」という言葉には様々な定義が存在しますが、この記事ではAnthropic社の以下の記事を参考に、LLMが自らツールの使い方や実行プロセスを動的に判断しながらタスクを進めていく仕組みを、広義の“エージェント”と呼ぶことにします。これに対し、あらかじめ定義された手順（ワークフロー）に従って LLM を利用するケースもあり、これらを適切に使い分けることで、生産性を大きく向上させることが期待できます。

(以下のこの記事はめっちゃいい記事だったので､もはやこれ読んだら半分OKなレベルでとてもおすすめです!)
https://www.anthropic.com/research/building-effective-agents

エージェントとは？

多くのユーザーや専門家/研究者の間では、「エージェント」は概ね以下のように理解されています。

1. 自律性（Autonomy）

   • エージェントは、一度タスクを与えられれば、その後の各ステップで必要なツールを自ら判断し、呼び出すことでタスク達成を目指します。
   • 例えば、状況に応じて会話の流れを変えたり、外部関数や検索ツールをどのような順番で利用するかを、エージェント自身が決定できるのです。

2. 柔軟性（Flexibility）

   • タスクの内容が複雑で、「どれくらいの回数ツールを呼び出す必要があるのか」「どんな情報が求められるのか」といった点が事前に明確でなくても、エージェントはその都度状況を判断しながらタスクを進めることが可能です。

3. モデル中心の意思決定（Model-driven Decisions）

   • タスクを達成するための流れを厳密なコードで記述するのではなく、LLM（言語モデル）自身が“思考”し、周囲の環境やツールからのフィードバックを取り込みながら進行していきます。
   • 開発者は、LLMが利用できるツールや拡張機能を用意し、それらをどのように活用するかはある程度LLMに任せる、という形になります。

エージェント構築の考え方については、以下の記事でも解説していますので、ぜひ参考にしてみてください。
https://zenn.dev/chips0711/articles/281370c37a73ae

ワークフローとは？

一方、以下のように、あらかじめ実行手順が明確に定められたシステムは「ワークフロー」と呼ばれます。

• 定型的・固定的な流れ
  例：

  1. ユーザーからの入力を受け付ける
  2. データベースから必要な情報を取得する
  3. 翻訳ツールで内容を翻訳する
  4. 最終的な結果をユーザーに返す

  上記のように、処理の流れが事前に明確に設計されており、途中で予期せぬ分岐が発生しにくい仕組みとなっています。

• タスクごとの安定性

  • 各ステップが固定されているため、実行結果が比較的安定しやすく、結果の予測が立てやすいという利点があります。

• コード主導のオーケストレーション

  • LLMの出力を検証するためのゲートや、複数のLLMを並列的に呼び出す仕組みなどを、事前にコード上で定義しておきます。

エージェント型 vs. ワークフロー型：どちらを選ぶ？

LLM を活用したシステムを検討する際、以下の点を考慮して「エージェント型」と「ワークフロー型」のどちらを選ぶか、あるいは両方を組み合わせるかを検討すると良いでしょう。

1. タスクの複雑さ

   • 単純なタスクや手順が明確に決まっているタスクであれば、ワークフロー型で十分に対応でき、高い安定性を確保できます。
   • 対照的に、タスクが複雑で、事前に処理の流れを定義しにくい場合には、エージェント型の方が柔軟に対応しやすいと言えます。

2. 許容できるコスト・レイテンシ

   • エージェント型は、複数回の LLM 呼び出しやツールの利用を伴うことが多く、リソースコストや応答時間の遅延が大きくなる傾向があります。
   • ワークフロー型は、処理手順が限定されているため、全体的な処理を効率的に進めることができます。

3. 安全性・制御性

   • エージェント型はより自律的に動作するため、予期せぬリスクを伴う可能性も考慮する必要があります（例えば、意図しないツールの呼び出しなど）。
   • リスクを抑えたい場合には、ワークフロー型のように厳格な手順を定めるか、エージェントに対して適切なガードレール（例：最大反復回数、コンテンツフィルタ、評価機能など）を設定することが重要です。

代表的なエージェント／ワークフローのパターン

実際にエージェントを構築する際には、以下のようなパターンがよく用いられます。

1. Augmented LLM（拡張LLM）

   • 検索機能（Retrieval）、ツール呼び出し、会話履歴の記憶（メモリ）などを組み合わせた基本的な構成です。
   • ChatGPT や Bing も、この拡張LLMの一例と捉えることができます。

2. Prompt Chaining（プロンプト・チェイニング）

   • あるタスクの出力を次のタスクの入力として連携させる手順を事前に定義することで、段階的に精度を高めていくワークフロー型のアプローチです。
   • 例：下書き → 校正 → 翻訳 → 最終チェック というように、順番に処理を行います。

3. Routing（振り分け）

   • ユーザーからの入力を解析し、「このタイプの質問はモデルAに送信する」、「別のタイプの質問はモデルBに送信する」といったルーティングロジックをコードで記述します。
   • 複数のモデルやツールを使い分けたい場合に有効です。

4. Parallelization（並列化）

   • 複数の LLM を同時に呼び出し、それぞれの回答や結果を比較・統合するパターンです。
   • 複数の意見を照合することで信頼性を向上させたり、複数の処理を同時に行うことで時間短縮に繋げたりすることができます。

5. Orchestrator-Workers（オーケストレータとワーカー）

   • 中央の LLM (オーケストレータ) がタスクを細分化し、必要に応じて複数のワーカー LLM を呼び出して処理させる構成です。
   • コード生成や文書作成など、どの部分をどのワーカーに担当させるかを動的に決定する場合に役立ちます。

6. Evaluator-Optimizer（評価・最適化）

   • LLM が生成した出力を別の LLM で評価し、フィードバックを与え、それに基づいて修正、再度評価…というプロセスを繰り返すことで、品質を高めていくパターンです。
   • 長文のライティングやコードレビューなど、人が行う“見直し”の工程を自動化するのに適しています。

7. Autonomous Agent（自律エージェント）

   • LLM がタスクの計画から、必要なツールの選択と実行、進捗確認までを自律的に行う形態です。
   • 高度な柔軟性を実現できますが、コストの増加や誤作動のリスクへの対策が不可欠です。

シンプルな構成から始め、必要に応じて拡張

LLM 活用を成功させる鍵は、「最も複雑なシステムを構築すること」ではなく、「目的に合致した適切な仕組みを構築すること」にあります。まずは、単一のモデル呼び出しや簡単なプロンプト・チェイニングから始め、評価機能やコンテンツフィルタを用いて安全性と品質を確認しながら、必要に応じてエージェント的な自律性や追加ツールの導入を検討していくのが良いでしょう。

• シンプルに始める: まずは、単一の LLM 呼び出しと検索機能（Retrieval）を組み合わせたような基本的な構成で性能を検証します。
• 評価と改善を繰り返す: 出力の品質やユーザーの満足度を測定し、問題があればプロンプトの設計やツールの追加などを見直します。
• 柔軟なエージェント化: 事前に処理内容を定義することが難しい作業が増えてきたら、自律エージェントやオーケストレーション機能を導入することを検討します。

これらの選択肢を状況に応じて組み合わせることで、ビジネスの要求に合致した最適な“エージェント or ワークフロー”を実装することが可能になります。

このようなエージェントやワークフローの考え方を踏まえ、次に Azure AI Agent Service がどのようにエージェントの構築を支援してくれるのか、公式ドキュメントに基づいて詳しく見ていきましょう。

1. Azure AI Agent Service とは？

Azure AI Agent Service は、大規模言語モデルを活用した複雑な処理フローや外部機能との連携を、サーバーサイドで一元的に管理できる、まさに画期的なサービスです。最大の特徴は、「エージェント」という概念を用いて、会話の状態管理やツールの呼び出しを自動的に処理してくれる点にあります。

これまでとこれからの違い

従来の実装方法：

• OpenAI API に対して個別にリクエストを送信する必要がありました。
• レスポンスを解析し、必要に応じて Bing やその他の API を別途呼び出す必要がありました。
• 処理フローの管理・実装は、基本的にクライアント側で行う必要がありました。
• エラーハンドリングについても、開発者が独自に設計する必要がありました。

Agent Service 利用時の実装方法：

• Agent Service が、これまで煩雑だった管理業務をサーバーサイドで一手に引き受けます。
• ファイル検索や関数実行といったツールの呼び出しを自動的に制御してくれます。
• 会話の履歴やコンテキストの管理も自動化されます。
• エラー発生時のリトライ処理や、代替処理（フォールバック）の仕組みも標準で備わっています。

エージェントを使うメリット

1. 大幅なコード量削減

   • 従来、ツール呼び出しのために必要だった JSON のパース処理を記述する手間がほとんどなくなります。
   • 例外処理やリトライ処理のロジックが、標準機能として実装済みなため、記述の必要がありません。
   • 会話の履歴や状態を自動的に管理してくれるため、そのためのコードを書く必要もありません。

2. 会話履歴とスレッド管理の自動化

   • Azure AI Agent Service が「スレッド」という単位で会話の履歴を保存・管理します。
   • 会話のコンテキスト維持・管理が容易になります。
   • 長期間にわたる、あるいは複数回のやり取りが発生する対話でも、会話の状態が失われる心配がありません。

3. 複数ツールの柔軟な連携

   • 例えば、FileSearch、CodeInterpreter、Bing Search などのツールを組み合わせて利用できます。
   • ツール間でやり取りされるデータの受け渡しを、AI 側が最適な形で処理してくれます。
   • 必要に応じて、エージェントが利用可能なツールを動的に呼び出してくれます。

4. 容易な拡張性

   • Azure Functions や OpenAPI と連携することで、既存の独自サービスを容易に組み込むことができます。
   • カスタム関数の追加手順もシンプルです。
   • 既存のシステムとの連携もスムーズに行えます。

次に、Azure AI Agent Service を包括的に捉えるための Azure AI Foundry について、その概要を解説していきます。

2. Azure AI Foundry の基本

Azure AI Foundry は、エージェント関連のプロジェクト、コンテンツフィルタ、AIモデル、そして接続リソースなどをまとめて管理できる、ポータルでありサービス群でもあります。特にエンタープライズレベルのセキュリティとプライバシー要件に対応するための機能が充実しており、その中でもBring your own (BYO) storageやBYO-virtual networkといった機能は大きな魅力と言えるでしょう。ここでは、主要な機能をざっくりとご紹介します。

プロジェクト (Project) 管理

• AIモデルやエージェントを一元的に管理できます。
• ファイルストレージとベクターストアが統合されています。
• デプロイ設定や利用状況のモニタリングもここで行えます。

Connected Resources（接続リソース）

• Bing Search との連携が可能です。
• Azure Functions との統合もサポートされています。
• Azure OpenAI モデルの管理もここに含まれます。
• Azure AI Search（旧Cognitive Search）との接続設定も行えます。
• カスタムAPIを登録して活用することも可能です。

Safety + Security（安全性とセキュリティ）

• コンテンツフィルタの作成や編集が行えます。
• 著作権保護に関する設定も管理できます。
• 安全基準やセキュリティポリシーの適用も可能です。
• アクセス制御機能も備わっています。

Tracing（トレーシング）機能

• Application Insights と連携することで、より詳細な追跡が可能です。
• エージェントの実行経路を視覚的に確認できます。
• パフォーマンス分析やエラー発生時のトラブルシューティングに役立ちます。

より詳しい情報については、以下の公式ドキュメントも併せて参照してみてください。
https://learn.microsoft.com/en-us/azure/ai-studio/

3. Agentsの仕組み：エージェント・スレッド・メッセージ・ラン

Azure AI Agent Service の中核を成すのは、エージェント、スレッド、メッセージ、ランという4つの主要な概念です。ここでは、これらを一つずつ丁寧に解説していきます。

エージェント (Agent)

エージェントは、AI がどのように振る舞うかを定義する、まさに要となるコンポーネントです。その構成要素を見ていきましょう。

• モデル選択：エージェントが使用する言語モデルを指定します（例：gpt-4o-mini）。
• ツール設定：FileSearchTool や CodeInterpreterTool など、連携させるツールを選択します。
• 指示（Instructions）：エージェントにどのような役割を与え、どのように行動させるかの指針を記述します。
• システムメッセージ：初期プロンプトなど、エージェントの基本的な振る舞いを決定する部分を設定します。
• メモリ設定：会話の文脈や記憶をどの程度保持するかを設定します。

スレッド (Thread)

スレッドは、一連の会話をまとめるセッションの単位として機能します。

• メッセージの保管：ユーザーとエージェントの間でやり取りされた過去のメッセージを保管します。
• 状態管理：対話が続く中で、会話の流れや進行状況を把握し、管理します。
• トランケーション：長くなった会話を適切に要約し、管理しやすい状態にします。
• メタデータ：会話のタイムスタンプやセッションに関する情報などを付与します。

メッセージ (Message)

メッセージは、ユーザー、エージェント、システムの間で行われる一回の「発話」を表すものです。

• 役割（Role）：発話者が誰であるかを示します (user／assistant／system)。
• 内容（Content）：発話の内容そのもので、テキスト、画像、ファイルなどを含めることができます。
• タイムスタンプ：メッセージが送信された日時を記録します。
• メタデータ：必要に応じて、感情に関する情報や発話の意図などを追加できます。

ラン (Run)

ランは、エージェントが実際に処理を実行する際の単位です。用途に合わせて、以下のメソッドを選択できます。

create_run

• エージェントの実行をリクエストし、その状態を定期的に確認（ポーリング）することで、処理の進捗を把握します。
• より細かな制御を行いたい場合に適しています。

create_and_process_run

• SDK が自動的にポーリング処理を行い、結果が返ってくるまでの一連の処理をまとめて実行します。
• 特に FunctionTool など、ツールが呼び出され、その結果を待つ必要がある場合に便利です。

create_stream

• 応答をリアルタイムに受信するためのストリーミング処理を開始します。
• インタラクティブな会話やチャットUIを実装する際に最適です。

ここまでで、エージェントの仕組みに関する基本的な概要を説明しました。続いては、実際に活用できるツールの具体的な例を、コードを交えながら見ていきましょう。

4. 主要なツールの活用例（コード付き）

4.1 File Search

ドキュメントをベクターストアに格納して検索できる強力な機能です。社内文書や製品情報の検索に最適で、RAG（Retrieval-Augmented Generation）スタイルの回答を簡単に実装できます。

# ファイルアップロード
file = project_client.agents.upload_file_and_poll(
    file_path="product_info_1.md", 
    purpose="assistants"
)
print(f"アップロードしたファイルID: {file.id}")

# ベクターストア作成
vector_store = project_client.agents.create_vector_store_and_poll(
    file_ids=[file.id], 
    name="my_vectorstore"
)
print(f"作成したベクターストアID: {vector_store.id}")

# FileSearchTool の生成
file_search_tool = FileSearchTool(vector_store_ids=[vector_store.id])

# エージェント作成にツールを渡す
agent = project_client.agents.create_agent(
    model="gpt-4o-mini",
    name="my-assistant",
    instructions="アップロードされた製品情報ファイルから検索して回答してください",
    tools=file_search_tool.definitions,
    tool_resources=file_search_tool.resources,
)

このエージェントに対して run を実行すると、ユーザーの質問に応じて以下の処理を自動で行います：
1. アップロード済みファイルからの関連情報検索
2. 検索結果の要約・整理
3. ユーザーの質問に沿った回答の生成

4.2 Code Interpreter

Pythonコードをサンドボックス環境で実行できる強力なツールです。数値解析、グラフ生成、データ変換など、多彩な操作を LLM が自動的に実行してくれます。

# データファイルのアップロード
file = project_client.agents.upload_file_and_poll(
    file_path="nifty_500_quarterly_results.csv", 
    purpose=FilePurpose.AGENTS
)

# Code Interpreterの初期化
code_interpreter = CodeInterpreterTool(file_ids=[file.id])

# エージェントの作成
agent = project_client.agents.create_agent(
    model="gpt-4o-mini",
    name="my-assistant",
    instructions="データ分析やグラフ作成のお手伝いをします",
    tools=code_interpreter.definitions,
    tool_resources=code_interpreter.resources,
)

# スレッドとメッセージを作成
thread = project_client.agents.create_thread()
message = project_client.agents.create_message(
    thread_id=thread.id,
    role="user",
    content="アップロードしたCSVの収益データを分析して、棒グラフを作成してください"
)

# 実行（ラン）
run = project_client.agents.create_and_process_run(
    thread_id=thread.id, 
    assistant_id=agent.id
)
print(run.status)

Code Interpreterの特徴：
• コードが失敗した場合、エージェントが自動修正してリトライ
• グラフ生成やデータクリーニングの自動化
• 実行環境がサンドボックス化されているので安全性が高い

4.3 Function Call / Azure Functions

カスタム関数や Azure Functions をエージェントから呼び出すための機能を提供します。

カスタム関数の例

# カスタム関数の定義
functions = FunctionTool(user_functions)  # user_functionsは関数実装を含む辞書
toolset = ToolSet()
toolset.add(functions)

# エージェントの作成
agent = project_client.agents.create_agent(
    model="gpt-4o-mini",
    name="function-agent",
    instructions="外部関数を使ってデータを取得できます",
    toolset=toolset,
)

Azure Functions との連携例

# Azure Function Toolの設定
azure_function_tool = AzureFunctionTool(
    name="get_weather",
    description="Azure Functionを使って天気情報を取得",
    parameters={
        "city": {
            "type": "string",
            "description": "都市名"
        },
        "date": {
            "type": "string",
            "description": "日付（YYYY-MM-DD形式）"
        }
    },
    input_queue=AzureFunctionStorageQueue(...),
    output_queue=AzureFunctionStorageQueue(...),
)

# エージェントの作成
agent = project_client.agents.create_agent(
    model="gpt-4",
    name="weather-agent",
    instructions="ユーザーが天気について質問したら、提供された関数を使って回答してください",
    tools=azure_function_tool.definitions,
)

例えば、「東京の天気を教えてください」と質問した場合、裏側では以下のような処理が行われます。
1. 入力キューにリクエストが投げられる
2. Azure Function がそのリクエストを処理
3. 結果が出力キューに格納
4. エージェントがそれを取得して回答を生成

4.4 Bing Grounding

最新のウェブ情報を取り込みたい場合に便利な機能です。Azure AI Foundry 上で接続設定を済ませれば、Bing Search によるリアルタイムなデータ取得が可能になります。

# Bing接続の取得
bing_conn = project_client.connections.get(connection_name="bing-connection")
bing_tool = BingGroundingTool(connection_id=bing_conn.id)

# エージェントの作成
agent = project_client.agents.create_agent(
    model="gpt-4o-mini",
    name="bing-search-agent",
    instructions="Bingを使って最新のウェブ情報を検索し、適切な回答を提供します",
    tools=bing_tool.definitions,
    headers={"x-ms-enable-preview": "true"}
)

Bing Grounding の主な特徴は以下の通りです。
• 常に最新の情報に基づいて回答を生成できるため、情報の鮮度が重要となる場合に適しています。
• 複数の情報源から得られた情報を統合し、より包括的な回答を生成できます。
• 多言語での検索にも対応しており、グローバルな情報収集にも活用できます。

4.5 Azure AI Search

エンタープライズ向けの高度な検索機能が使えるのも、大きなアドバンテージです。既存の Azure Cognitive Search インデックスを活用し、データを効率的に探索できます。

# 検索接続の取得
search_conn = project_client.connections.get_default(
    connection_type=ConnectionType.COGNITIVESEARCH
)
ai_search = AzureAISearchTool(
    index_connection_id=search_conn.id, 
    index_name="myindex"
)

# エージェントの作成
agent = project_client.agents.create_agent(
    model="gpt-4o",
    name="enterprise-search-agent",
    instructions="エンタープライズ検索機能を備えた知識豊富なアシスタントです",
    tools=ai_search.definitions,
    tool_resources=ai_search.resources,
)

Azure AI Search を利用する主なメリットは以下の通りです。

• 高度な全文検索や、特定の条件で検索結果を絞り込むファセット検索など、多様な検索機能を利用できます。
• 単なるキーワード検索だけでなく、言葉の意味を理解した上で検索を行うセマンティック検索を利用することで、より自然な検索結果を得られます。
• 多言語対応はもちろんのこと、企業内のアクセス権限管理との連携も可能であり、セキュアな環境での情報検索を実現できます。

4.6 OpenAPI

OpenAPI は、API の設計を記述するための標準的な仕様であり、この仕様に準拠した外部サービスを Azure AI Agent Service から直接呼び出すことが可能です。既存の API をエージェントの機能として容易に統合できます。

import jsonref

# OpenAPI仕様の読み込み
with open("weather_openapi.json","r") as f:
    openapi_spec = jsonref.loads(f.read())

# OpenApiToolの設定
openapi_tool = OpenApiTool(
    name="weather_api",
    spec=openapi_spec,
    description="天気情報を取得するAPIです",
    auth=OpenApiAnonymousAuthDetails(),
)

# エージェントの作成
agent = project_client.agents.create_agent(
    model="gpt-4o",
    name="openapi-agent",
    instructions="OpenAPI仕様に従った天気APIを使って情報を提供してください",
    tools=openapi_tool.definitions,
)

OpenAPI を統合する利点は多岐にわたります。

• 既存の API をそのまま活用できるため、新たな開発コストを抑えつつ、エージェントの機能を拡張できます。
• API のパラメータ検証やエラーハンドリングなどが自動化されるため、開発者はビジネスロジックに集中できます。
• OAuth などの認証機構にも対応しており、セキュアな API 連携が可能です。

以上が、Azure AI Agent Service で利用できる主要なツールの活用例です。これらのツールを組み合わせることで、複雑な処理を伴う高度な対話型アプリケーションを比較的容易に構築できることがお分かりいただけたかと思います。

5. コンテンツフィルタをカスタマイズしてみよう

Azure AI Foundry ポータルの 「Safety + security」 → 「Content filters」 から、さまざまなコンテンツフィルタ設定を行えます。ここでは、そのカスタマイズ例やベストプラクティスを紹介します。

フィルタリングカテゴリ

1. 暴力的表現（Violence）

   • 物理的な暴力
   • 武器や危険物
   • 脅迫や危害に関する表現

2. 憎悪表現（Hate）

   • 差別的・偏見的な発言
   • ヘイトスピーチ
   • 特定の人々や集団を排除・攻撃する表現

3. 性的表現（Sexual）

   • 露骨な性的表現
   • 不適切な誘い
   • 成人向けコンテンツ

4. 自傷行為（Self-harm）

   • 自殺に関連する言及
   • 自傷行為の助長
   • 危険な行為の推奨

しきい値設定

各カテゴリについて、Low / Medium / High の3段階しきい値を設定できます。

• Low：軽度な表現も検知
• Medium：一般的な不適切表現を検知（デフォルト）
• High：深刻な不適切表現のみ検知

適用範囲の設定

• プロンプト入力用フィルタ：ユーザーからの入力（発話内容）をチェック
• モデル出力用フィルタ：AIアシスタント（エージェント）の出力をチェック

追加フィルタオプション

1. Jailbreakリスク検出

   • プロンプトインジェクション対策
   • システム命令の改変を試みる不正行為を検出
   • 悪意ある指示の防止

2. Protected Material検出

   • GitHub などのコードの著作権保護
   • 機密情報の漏洩を防止
   • 個人情報の保護に寄与

カスタマイズのベストプラクティス

1. 段階的な調整

   • まずはデフォルト（medium）で開始
   • 実際の使われ方を見ながら、誤検知や取りこぼしを分析
   • 必要に応じて段階的に緩和・強化

2. ユースケースに応じた設定

   • 一般向けサービス → より厳格に（特に暴力や性的表現）
   • 専門家向け → 語彙の幅が必要なら緩和
   • 教育・研究用途 → 利用目的に応じた調整

3. モニタリングと改善

   • フィルタリング結果のログを取得して誤検知をチェック
   • 定期的に設定を見直し、バージョンアップ

4. バックアップ対策

   • フィルタ設定のエクスポート・インポートを活用
   • 承認フローを組み込む（特に大規模運用時）
   • 人の目で最終確認を行う仕組み（重大なエラー防止）

コンテンツフィルタをしっかり整備することで、AIアシスタントが安全かつ適切な応答を行いやすくなります。プロダクション環境での運用を考える際は、なるべく早い段階でフィルタ設定を整えておくのがおすすめです。

6. Evaluation機能でAIの性能をチェックする

ここでは、リモート評価機能を用いて AI の出力品質を定量的にチェックする方法を解説します。

リモート評価の実装フロー

1. テストデータの準備

# JSONL形式でテストデータを用意
test_data = [
    {
        "input": "製品Aの特徴を教えてください",
        "expected_output": "製品Aは高性能な省エネ機能を備えており、消費電力を最大50%削減できます。",
        "metadata": {
            "category": "product_info",
            "difficulty": "basic"
        }
    },
    # 他のテストケースを追加...
]

# データのアップロード
data_id, _ = project_client.upload_file("evaluation_data.jsonl")

2. 評価設定の作成

evaluation = Evaluation(
    display_name="製品情報回答の正確性評価",
    data=Dataset(id=data_id),
    evaluators={
        "relevance": EvaluatorConfiguration(
            id=RelevanceEvaluator.id,
            parameters={
                "criteria": "製品情報の正確性、完全性、関連性を評価"
            }
        ),
        "f1_score": EvaluatorConfiguration(
            id=F1ScoreEvaluator.id,
            parameters={
                "threshold": 0.8
            }
        ),
    }
)

3. 評価の実行と監視

# 評価ジョブの実行
eval_resp = project_client.evaluations.create(evaluation=evaluation)
print(f"評価ID: {eval_resp.id}")
print(f"ステータス: {eval_resp.status}")

# 結果の取得
results = project_client.evaluations.get(eval_resp.id)
# ここで結果内容を分析し、スコアを確認

評価指標の種類

1. 精度関連の指標

• F1スコア：適合率（Precision）と再現率（Recall）の調和平均
• BLEU：機械翻訳や要約タスクの品質指標
• ROUGE：要約の品質測定に利用
• Exact Match：期待された回答との完全一致率

2. 意味的評価

• Relevance：関連性スコア
• Coherence：文章の一貫性
• Faithfulness：事実と回答の整合性
• Toxicity：有害発言の度合い

3. カスタム評価器の作成

class CustomEvaluator:
    def __init__(self, criteria):
        self.criteria = criteria
    
    def evaluate(self, prediction, ground_truth):
        score = 0
        feedback = []
        
        # 評価ロジックを独自に実装
        for criterion in self.criteria:
            criterion_score = self._evaluate_criterion(
                prediction, 
                ground_truth, 
                criterion
            )
            score += criterion_score['score']
            feedback.append(criterion_score['feedback'])
        
        return {
            'score': score / len(self.criteria),
            'feedback': feedback
        }

Evaluation 機能を活用することで、モデルの出力品質を客観的にチェックし、継続的に改善していくサイクルを回しやすくなります。プロジェクトのステージに合わせて評価指標を選定し、必要に応じてカスタム評価器を作るのが良いでしょう。

7. ハンズオン：実装フローを通しで見てみよう

7.1 環境セットアップ

# 必要なパッケージのインストール
pip install azure-ai-projects
pip install azure-identity
pip install azure-ai-inference

7.2 プロジェクトの初期化

import os
from azure.ai.projects import AIProjectClient
from azure.identity import DefaultAzureCredential

# プロジェクトクライアントの作成
project_client = AIProjectClient.from_connection_string(
    credential=DefaultAzureCredential(),
    conn_str=os.environ["PROJECT_CONNECTION_STRING"]
)

7.3 データの準備と解析

# セールスデータのアップロード
file = project_client.agents.upload_file_and_poll(
    file_path="sales_data.csv", 
    purpose="assistants"
)

# ベクターストアの作成
vector_store = project_client.agents.create_vector_store_and_poll(
    file_ids=[file.id], 
    name="sales_vectorstore"
)

# 検索ツールの初期化
file_search_tool = FileSearchTool(vector_store_ids=[vector_store.id])

# コードインタープリタの設定
code_interpreter = CodeInterpreterTool(file_ids=[file.id])

7.4 高度な分析エージェントの作成

agent = project_client.agents.create_agent(
    model="gpt-4o-mini",
    name="sales-analysis-agent",
    instructions="""
    あなたは営業データの分析エキスパートです。以下の機能を提供します：
    - 売上データの詳細な分析
    - トレンド分析とグラフ作成
    - 予測と推奨事項の提示
    - わかりやすい説明と視覚化
    """,
    tools=file_search_tool.definitions + code_interpreter.definitions,
    tool_resources=file_search_tool.resources + code_interpreter.resources,
)

# スレッドの作成
thread = project_client.agents.create_thread()

# 分析リクエストの送信
message = project_client.agents.create_message(
    thread_id=thread.id,
    role="user",
    content="四半期ごとの売上推移をグラフ化して、重要なトレンドを解説してください"
)

7.5 結果の取得と保存

# 分析の実行
run = project_client.agents.create_and_process_run(
    thread_id=thread.id, 
    assistant_id=agent.id
)

# メッセージ履歴の取得
messages = project_client.agents.list_messages(thread_id=thread.id)
for msg in reversed(messages.data):
    if msg.role == "assistant":
        print("アシスタントの回答:", msg.content[-1].text.value if msg.content else "テキストなし")

# 生成された画像の保存
for image_content in messages.image_contents:
    file_id = image_content.image_file.file_id
    project_client.agents.save_file(
        file_id=file_id, 
        file_name="sales_analysis_chart.png"
    )
    print("グラフを sales_analysis_chart.png として保存しました")

このフローにより、ファイル検索ツールでデータを探し、コードインタープリタでグラフ化や解析を行い、最終的に可視化結果を添付ファイルとして返すところまでを、自動的に進められます。人間が書いたコードをエージェントが実行して失敗したとしても、エージェントがコードを修正しながら再試行してくれるため、短時間で結果を得られるケースが多いです。

8. まとめと今後の展望

Azure AI Agent Service の主なメリット

1. 開発効率の大幅な向上

   • サーバーサイドでの一元管理により、クライアント側の実装負担が軽減されます。
   • 会話履歴の管理やエラー処理などが自動化されるため、少ないコード量で高度な機能を実現できます。

2. 高度な機能連携

   • 複数のツールをシームレスに連携させ、複雑な処理フローを構築できます。
   • 幅広いカスタマイズが可能で、様々なビジネスニーズに対応できます。
   • スケーラブルなアーキテクチャを備えており、大規模なワークフローにも対応できます。

3. セキュリティと品質の確保

   • 強力なコンテンツフィルタ機能により、不適切なコンテンツのリスクを低減できます。
   • 継続的な評価機能（Evaluation）を活用することで、AI の出力品質を向上させることができます。
   • 企業のコンプライアンス要件に合わせた柔軟な対応が可能です。

今後の展開への期待

1. さらなる機能拡張

   • 複数のツールを並行して効率的に実行するための最適化が進むことが期待されます。
   • より高度な検索アルゴリズムが導入され、検索精度が向上する可能性があります。
   • 特定の用途に特化した新しいツールが追加されることで、活用範囲が広がるでしょう。

2. パフォーマンスの向上

   • 応答遅延（レイテンシ）のさらなる低減が期待されます。
   • 大量のトラフィックを効率的に処理するためのスケーリング機能が強化されるでしょう。
   • 過去の処理結果をキャッシュする仕組みが最適化され、処理速度が向上する可能性があります。

3. 開発者体験の向上

   • より直感的で使いやすい API が提供されることが期待されます。
   • 豊富なサンプルコードや実践的なガイドが整備されることで、開発の敷居が下がるでしょう。
   • ドキュメントやチュートリアルがさらに充実し、学習コストが低減されることが期待されます。

実装におけるベストプラクティス

1. 段階的な導入

   • まずは小規模なプロジェクトから始め、運用ノウハウを蓄積していくことが推奨されます。
   • 新機能の追加は段階的に行い、システムの安定性を確認しながら進めましょう。
   • 実際のユーザーからのフィードバックを積極的に取り入れ、継続的に改善を図ることが重要です。

2. 継続的なモニタリング

   • システムの使用状況やパフォーマンスを定期的に監視し、問題点を早期に発見できるようにしましょう。
   • 主要な指標を追跡し、改善が必要な箇所を特定することが大切です。
   • ユーザーからの意見や要望を分析し、サービスの品質向上に役立てましょう。

3. セキュリティへの配慮

   • 適切なアクセス制御を設定し、機密性の高い情報を保護するための対策を徹底しましょう。
   • データの保護に関する明確な方針を定め、関連法規制やコンプライアンス要件を遵守しましょう。
   • 運用監視チームと連携し、不正アクセスやセキュリティ上の脆弱性に対して迅速に対応できる体制を構築しましょう。

9. 参考リンク

公式ドキュメント:
https://learn.microsoft.com/en-us/azure/ai-services/agents/

https://learn.microsoft.com/en-us/azure/ai-studio/

https://learn.microsoft.com/en-us/python/api/overview/azure/ai-projects-readme?view=azure-python-preview&context=%2Fazure%2Fai-services%2Fagents%2Fcontext%2Fcontext

ブログ記事など:
https://techcommunity.microsoft.com/blog/azure-ai-services-blog/introducing-azure-ai-agent-service/4298357

https://qiita.com/nohanaga/items/82335753e75445755d70#デモシナリオ

補足1：Azure AI Agent Service のクォータと制限

Azure AI Agent Service を実際に運用するうえで押さえておきたいのが、クォータ（利用枠）やファイル・トークンの上限です。以下の表に、主要なクォータや制限値をまとめてみました（2024年12月24日時点の情報）。

Limit Name	Limit Value
Max files per agent/thread	- 10,000（API または Azure AI Foundry ポータル経由） - 20（Azure OpenAI Studio 経由）
Max file size for agents & fine-tuning	512 MB
Max size for all uploaded files for agents	100 GB
agents token limit	2,000,000 tokens

注意点

1. Max files per agent/thread

   • エージェントやスレッドに紐づけられるファイルの数に制限があります。
   • Azure AI Agent Service のAPIや Azure AI Foundryポータルから操作する場合は最大10,000件、Azure OpenAI Studio経由では最大20件までとなります。

2. ファイルサイズや総容量の上限

   • 1ファイルあたり最大512MBまでアップロードが可能です。
   • 合計で100GBまでファイルをアップロードできます。RAG形式で大量のドキュメントを扱う場合は、この上限に注意しましょう。

3. トークン上限

   • agents token limit が2,000,000トークンとなっています。
   • 大量のスレッドや深い会話履歴を保持する場合は、超過しないようモニタリングが必要です。

Azure OpenAI models のクォータと制限

そして､さらにAzure AI Agent Service で利用できる Azure OpenAI models に関しては、下記のドキュメントを参照してください。
https://learn.microsoft.com/en-us/azure/ai-services/openai/quotas-limits

モデルやリソースの選択に応じて、推論回数やレイテンシなどの制限が異なる場合がありますので、実装前に一度確認しておくことをおすすめします。

これらのクォータや制限を把握しておくと、エージェント設計時やスケーラビリティを考慮する際に役立ちます。大規模なファイルを扱うシナリオや長期的なスレッド管理が必要なケースでは、ストレージ容量やトークン上限を定期的にモニタリングしながら運用しましょう。

補足2：Azure AI Agent Service におけるデータ管理・プライバシー・セキュリティ（簡易版）

以下の図は、Azure AI Agent Service が どのようにデータを扱うか を簡潔に示したものです。エージェント（Agents）と推論（Inference）に関わる主要なコンポーネントやフローを確認できます。

1. エージェント側

   • Assistants, Threads, Messages APIs: 会話セッションやメッセージを管理する API。
   • Vector Store APIs: ベクターストア（ファイル検索等で使用）を扱う API。
   • Run APIs: エージェントの実行（ラン）を操作するための API。

2. Azure AI Agent Service (Preview)

   • エージェントのコア部分。ファイル検索やコード実行、外部ツール呼び出しなどをサーバーサイドで管理。
   • State storage: スレッドやメッセージ履歴などのステートフルなデータを保持。二重暗号化や BYO Storage を設定可能。
   • Storage: ファイルアップロードを扱う領域。こちらもリソースごとに暗号化し、不要になったら削除できる。
   • Code Interpreter: サンドボックス環境でコードを実行。ファイルをダウンロード・解析して結果をメッセージに返す。
   • External Tools: Bing 検索、Azure Functions、OpenAPI 3.0 ツールなど、外部サービスを通じて追加機能を実現。

3. Inference (推論) 側

   • Azure OpenAI Service Inferencing: Azure OpenAI のモデル推論エンドポイントを呼び出す。
   • Model-as-a-Service Inferencing: Meta Llama など、サポートされるモデルの推論をクラウド経由で実行。

データの取り扱い：ポイントまとめ

• プロンプトと生成物: ユーザーが入力した内容やモデルが生成した応答は、他のユーザーや外部のモデルプロバイダー（OpenAI、Meta など）に共有されることはなく、学習素材としても使用されません。
• アップロードデータ: ファイル検索やコードインタープリタ用にアップロードされたデータは、指定したストレージに二重暗号化（AES-256 など）されるか、BYO（Bring Your Own）ストレージで保管。
• 外部ツール: Bing Search や Azure Functions などを利用する際には、それぞれのサービス固有の利用規約・データ処理ルールが適用されるため要確認。
• ステートフルエンティティ（Threads, Messages, Runs）: 会話履歴やラン情報をサーバーサイドで保持し、コンテキストを維持。ユーザーはいつでも削除可能。
• リージョン/暗号化: Azure OpenAI リソースと同じリージョン（地理的場所）でデータが保存。顧客管理キーを使った暗号化も（一部プレビュー除く）選択可能。

このように、Azure AI Agent Service はエンタープライズ用途に対応した安全設計が施されています。必要に応じてコンテンツフィルタや評価機能を組み合わせながら、自社のセキュリティポリシーやコンプライアンス要件に合わせて運用を検討してください。

詳細&図の引用元:
https://learn.microsoft.com/en-us/legal/cognitive-services/agents/data-privacy-security?context=%2Fazure%2Fai-services%2Fagents%2Fcontext%2Fcontext

おわりに

Azure AI Agent Service は、大規模言語モデルをさらに活用しやすくする次世代のプラットフォームといえます。会話の状態管理から外部ツールの呼び出し、ファイル検索まですべてをサーバーサイドで一貫して処理してくれるため、開発者の負担を大きく軽減できるのが魅力です。

さらに、コンテンツフィルタや評価機能などを組み合わせることで、安全性やコンプライアンスにも対応しやすくなります。現時点ではまだまだプレビューの機能も含まれていますが、Ignite 2024 での発表のとおり、今後の公的プレビュー拡大や機能追加が大いに期待できます。たとえば、複数の LLM を自動的に選択・切り替えするマルチエンジン推論や、AutoGen との一層の統合など、Microsoft から続々と新しいアップデートが到来するでしょう。

ぜひ Azure AI Agent Service を使って、革新的な AI アプリケーションの開発にチャレンジしてみてください。みなさんのフィードバックやアイデアをお待ちしています！

また、Azure AI やエージェント技術の理解が深まるよう、以下の記事も参考になるかと思います。ぜひ合わせてご覧ください。

まず､Azure AI Model Inference APIについての解説記事です｡
https://zenn.dev/chips0711/articles/eb2c81ed4661e3

以下の2つは､MicrosoftがOSSとして出しているMagentic-OneとTinyTroupeというマルチエージェントフレームワークについての記事となります｡
https://zenn.dev/chips0711/articles/47ae142e51511b
https://zenn.dev/chips0711/articles/c03c5057916c5b

長くなりましたが、これで本記事はひとまず終了です。（年内の更新もこれをもって多分終わりとなります。）
来年2025年も引き続き、技術検証記事や最新情報をお届けできるよう努めていきますので、どうぞよろしくお願いいたします🥺

---

【免責事項】

本記事は 2024 年 12 月 24 日時点での情報をもとに作成しています。AI 技術は急速に進化し、製品仕様や価格、可用性は予告なく変更される場合があります。ここで紹介した内容はあくまで一般的な参考情報であり、専門的なアドバイスを代替するものではありません。ご利用の際は、最新情報の確認や十分なテストを行い、自己責任で運用をお願いいたします。また、サンプルコードの動作環境やバージョンは今後のアップデートで異なる可能性がありますので、あらかじめご了承ください。