Open1

Vertex AIのモデルモニタリング

Vertex AIの機能

Vertex Model Monitoring

Vertex AIにデプロイされたモデルに関して、Feature DistributionとFeature Attributionをモニタリングするサービス。

  • Feature Distributionのモニタリングは、名前の通りモデルに入力される特徴量だけに対するモニタリング。数値型の特徴量にはJensen-Shannon divergence, カテゴリ変数にはチェビシェフ距離(L∞距離)が用いられる。
  • Feature Attributionのモニタリングは、後述のVertex Explainable AIを通じて計算された値(予測時の特徴量重要度など)のモニタリング。

Vertex AIのModel Monitoringでは、学習・運用時の特徴分布のズレをスキュー(skew)、運用中の時間経過に伴う特徴分布のズレをドリフトと呼んでいる。

https://cloud.google.com/vertex-ai/docs/model-monitoring/overview

https://cloud.google.com/blog/ja/topics/developers-practitioners/monitor-models-training-serving-skew-vertex-ai

Vertex Explainable AI

Feature Attributionのモニタリングは、予測結果と特徴量の関係に対するモニタリング。具体的にはテーブルデータに対するShapley Valueや、画像データに対する統合勾配などを計算できる。

https://cloud.google.com/vertex-ai/docs/explainable-ai/overview

https://cloud.google.com/blog/ja/topics/developers-practitioners/monitoring-feature-attributions-how-google-saved-one-largest-ml-services-trouble
作成者以外のコメントは許可されていません