生成AIのテレメトリ

各社が生成AIをサービスに応用し始めており、生成AIを運用していくためのサービス/概念が登場している

DatadogがLLM Observabilityを機能として提供開始
https://docs.datadoghq.com/llm_observability/

GoogleがGenOpsという概念を提唱
https://cloud.google.com/blog/products/devops-sre/genops-learnings-from-microservices-and-traditional-devops?hl=en

ログ

• 入力（プロンプト）と出力（生成結果）

トレースも取る

メトリクス

• 入出力のトークン数
• 生成にかかった時間
  • TTFT (Time to First Token), TTLT (Time to Last Token)
• 生成結果の妥当性
  • 評価
  • 回答不可の割合

属性

• モデルやプロンプトのバージョン
• リクエストのパラメータ
  • temperature, max_token, top_p, top_k

評価について

https://docs.datadoghq.com/llm_observability/terms/#evaluations

LangSmith, Langfuse, Difyも確認したい