OpenAI SDKをOpenTelemetryで計装する
本記事はAzure PoC 部 Advent Calendar 2025の 6 日目の記事です。
以前、OpenTelemetry ベースで Azure Monitor でのアプリケーション監視の記事を書いたのですが、今回は LLM の監視を Azure Monitor で実施する方法を紹介します。
Azure Monitor での OpenTelemetry による監視については過去の記事で紹介しているのでこちらも参照いただければと思います。
LLM の監視について
昨今の AI エージェントの流れからも LLM の監視は非常にホットなトピックです。
Langfuse といった LLMOps ツールも非常に注目されています。
今回の記事では Lnagfuse のようなツールを使わず、ローレベルな OpenTelemetry だけを使って LLM の監視を実現する方法を紹介したいと思います。
この狙いとしては、Langfuse の内部の仕組みも OpenTelemetry であり、OpenTelemetry を直接使えば LLM の呼び出しを自前で監視・トレースできるということを発信していきたいからです。
OpenTelemetry のセットアップ
まずは OpenTelemetry のテレメトリデータを Azure Monitor の Application Insights に流せるように依存関係に以下を追加します。
uv add "azure-monitor-opentelemetry==1.8.0"
今回は OpenTelemetry SDK のバージョンの都合でazure-monitor-opentelemetryのバージョンを1.8.0に固定しています。
次に OpenAI SDK を OpenTelemetry で計装するための自動計装ライブラリopentelemetry-instrumentation-openai-v2を依存関係に追加します。
uv add opentelemetry-instrumentation-openai-v2
OpenAI SDK の動作を OpenTelemetry で計装する
今回、計装するコードは pytest のテストコードベースで記述します。
コード自体は以下の GitHub リポジトリで公開しています。
まずはテスト実行時に OpenTelemetry で Application Insights にテレメトリデータを送信できるようにfixtureを用意します。
import os
import pytest
from azure.monitor.opentelemetry import configure_azure_monitor
from opentelemetry.instrumentation.openai_v2 import OpenAIInstrumentor
@pytest.fixture(autouse=True)
def setup_azure_monitor() -> None:
configure_azure_monitor(
connection_string=os.getenv("APPLICATIONINSIGHTS_CONNECTION_STRING")
)
# OpenAI SDKの自動計装を有効化
OpenAIInstrumentor().instrument()
OpenAIクライアントを生成するfixtureも用意しておきます。
@pytest.fixture
def ai_foundry_api_key() -> str:
return os.getenv("AI_FOUNDRY_API_KEY", "")
@pytest.fixture
def ai_foundry_resource_name() -> str:
return os.getenv("AI_FOUNDRY_RESOURCE_NAME", "")
@pytest.fixture
def client(ai_foundry_api_key: str, ai_foundry_resource_name: str) -> OpenAI:
return OpenAI(
api_key=ai_foundry_api_key,
base_url=f"https://{ai_foundry_resource_name}.openai.azure.com/openai/v1/",
)
テストコードで OpenAI SDK を使って LLM を呼び出します。
テストコードのファイル名はtest_completions_api.pyとしています。
from openai import OpenAI
from pytest import FixtureRequest
from opentelemetry import trace
tracer = trace.get_tracer(__name__)
def test_completions_api(
request: FixtureRequest,
client: OpenAI,
) -> None:
test_name = request.node.name
with tracer.start_as_current_span(test_name):
response = client.chat.completions.create(
model="gpt-4.1",
messages=[
{
"role": "user",
"content": "OpenTelemetryについて説明してください。",
}
],
)
response_text = response.choices[0].message.content
assert response_text is not None
assert "OpenTelemetry" in response_text
テストを実行します。
pytest tests/test_completions_api.py
実行完了後、Application Insights を確認すると、トレースの情報が確認できます。

この状態だと、呼び出しに利用したモデル、入力トークン、出力トークンの情報は見れますが、入力したテキストや出力されたテキストはキャプチャされていません。
環境変数OTEL_INSTRUMENTATION_GENAI_CAPTURE_MESSAGE_CONTENTにtrueをセットすることでテキスト情報までキャプチャできます。
環境変数を指定してテストを実行します。
OTEL_INSTRUMENTATION_GENAI_CAPTURE_MESSAGE_CONTENT=true pytest tests/test_completions_api.py
こうすると、Application Insights ではtraceで LLM のテキスト出力がキャプチャできます。

また Application Insights ではプレビュー機能ですが、AI エージェントの監視向けの専用のビューも現在用意されています。
こちらは AI Foundry SDK で作成したエージェント向けのビューですが、素の OpenAI SDK で収集したメトリックに対してもトークンやレスポンスタイムなどは同様に表示されます。

まとめ
本記事では、OpenAI SDK を OpenTelemetry で計装し、 Application Insights で監視する方法を紹介しました。
LLM の監視はホットなトピックですが、その基盤にあるのは OpenTelemetry という共通仕様です。
この仕組みを理解しておくことで、特定のツールやフレームワークに依存しない可観測性を実現できます。
こうした知見は、LLM の監視だけなくアプリケーション全体の運用・監視を設計する上でも有効です。
特定の技術への依存度を下げ、チームに適した形で可観測性基盤を構築していくための第一歩になるでしょう。
Discussion