【メモ】Introducing MLOps
dhirookaPart 1. MLOps: What and Why
Chapter 1. Why Now and Challenges
MLOpsがなぜ企業のデータサイエンス戦略に不可欠なのか、なぜ今熱心に議論されているのか。
Defining MLOps and Its Challenges
データサイエンスが企業の生み出す価値に深く影響するにつれて、これを適切に管理・運用することの重要性が増してきた。
機械学習モデルのライフサイクル
- ビジネス目標の策定
- データにアクセス、理解、整理する
- MLモデルを構築する
- MLモデルとデプロイする
- 反復
MLのライフサイクルをスケーリングさせるのが難しい理由
- データだけでなくビジネスゴールも絶えず変化している。プロダクションでのMLモデルの性能やデータ品質が計画した目標に合致しているか継続的に監視する必要がある。
- ビジネスサイド、データ分析チーム、ITチームなど、役割に応じて文化やスキルセットが異なる
- データサイエンティストは必ずしもソフトウェアエンジニアではなく、アプリケーションに関するスキルを持っていない
MLOpsとDevOpsの関連
- 似ている点
- ロバストな自動化とチーム間の信頼が重要
- ビルド、テスト、リリースのend-to-endなサービスライフサイクルが重要
- 継続的デリバリーと高い品質を重視
- MLOps特有の点
- データが常に変化しており、それに対してモデルが適切に予測できる必要がある
MLOps to Mitigate Risk
MLOpsはMLモデルに関連する企業へのリスクを抑えるのに重要だが、その利益がコストに見合うかどうかは適切に評価する必要がある。
dhirookaPart 1. MLOps: What and Why
Chapter 1. Why Now and Challenges
MLOpsがなぜ企業のデータサイエンス戦略に不可欠なのか、なぜ今熱心に議論されているのか。
Defining MLOps and Its Challenges
データサイエンスが企業の生み出す価値に深く影響するにつれて、これを適切に管理・運用することの重要性が増してきた。
機械学習モデルのライフサイクル
- ビジネス目標の策定
- データにアクセス、理解、整理する
- MLモデルを構築する
- MLモデルとデプロイする
- 反復
MLのライフサイクルをスケーリングさせるのが難しい理由
- データだけでなくビジネスゴールも絶えず変化している。プロダクションでのMLモデルの性能やデータ品質が計画した目標に合致しているか継続的に監視する必要がある。
- ビジネスサイド、データ分析チーム、ITチームなど、役割に応じて文化やスキルセットが異なる
- データサイエンティストは必ずしもソフトウェアエンジニアではなく、アプリケーションに関するスキルを持っていない
MLOpsとDevOpsの関連
- 似ている点
- ロバストな自動化とチーム間の信頼が重要
- ビルド、テスト、リリースのend-to-endなサービスライフサイクルが重要
- 継続的デリバリーと高い品質を重視
- MLOps特有の点
- データが常に変化しており、それに対してモデルが適切に予測できる必要がある
MLOps to Mitigate Risk
MLOpsはMLモデルに関連する企業へのリスクを抑えるのに重要だが、その利益がコストに見合うかどうかは適切に評価する必要がある。
MLOpsにおけるリスク分析観点
- モデルが一定時間利用できなくなった場合のリスク
- モデルの予測が外れた場合のリスク
- モデルの精度やfairnessが悪化していった場合のリスク
- モデルを保守する人員がいなくなった場合のリスク
MLの運用におけるリスクは、発生確率が高く、影響が大きいほど深刻となる。MLOpsのインフラなしにMLを運用すると、以下のような理由でリスクがある。
- 学習時と性質の異なるデータが混入した場合、モデルの性能が大きく劣化する可能性があるから
- MLモデルの性能が、使用しているソフトウェアやOSなどといった運用環境に敏感であるから
MLモデルをプロダクションに投入することは、MLのライフサイクルの始まりに過ぎない。実際にはその後も性能を監視し、動作を保証する必要がある。適切な監視を行うことで、潜在的なリスクを抑え、各モデルがどのように利用されているのかを把握できる。
MLOpsは責任あるAIのためにも重要である。これは大きく分けて二つの軸からなる。
- 意図性（intentionality）：モデルの振る舞いが元の意図に沿っていること
- 責任性（accountability）：データやモデルに対して、どのチームがどのような責任を追っているか明確にすること。
モデルの予測がユーザーに与える影響に責任を負うのは各チームのマネージャーあるいはエグゼクティブなどの上位レイヤーであり、これが責任あるAIおよびMLOpsが重視される理由である。
MLOps for Scale
MLOpsはMLモデルの運用リスクを低減するだけでなく、運用をスケールアップする上でも重要である。MLOpsを用いることで、少なくとも以下のようなメリットがある。
- 実験段階においてバージョニングを追跡できる
- 再学習したモデルが以前のモデルよりよくなったかがわかる、同時にプロダクションのモデルが改善するのを助ける
- モデルの性能が時間経過に伴って悪化していないかを保証する
Closing Thoughts
本省の内容は、MLをスケーリングするだけでなく、ビジネスをリスクに晒さないためにも重要である。これはつまり、MLOpsが企業の上層部やC-suiteによっても重要であることを意味する。
dhirookaChapter 2. People of MLOps
MLOpsはデータサイエンティストだけでなく、様々なロールが関わることになる。