データの品質管理とドリフト検知の違い

MLOpsにて特に重要な項目であるデータの品質管理とデータのドリフト検知の違いについて考えてみました。

データの品質管理とデータのドリフト検知の違い：

データ品質管理は事前のデータ検証
データのドリフト検知は運用後のモデル監視

データ品質管理

→データがモデルに使用される前にその信頼性、一貫性、正確性を確保するためのプロセス。データの取得から前処理までに行われ、主にデータの欠損や異常値の処理、スキーマの検証などを含む。Great Experienceのような検証ツールを用いることができる。

データドリフト検知

→学習データと運用データの統計的特性が変化しているかどうかを監視するプロセス。モデルの劣化を早期に検知し、再学習やモデルの更新が必要かどうかを判断する。例えば、デプロイ後にVertex AI Mointoringを用いてデータのドリフトがないかどうか検知する。もしドリフトを検知すれば、アラートを送信し、データを見直し、モデルを再学習させる必要がある。