背景
D2Cのデータサイエンティスト（MLエンジニア）の須田です。
最近MLモデルのデプロイ機能について調べていたところ、AWS SageMaker（以下Sagemaker）のガバナンス新機能であるモデルダッシュボードが目に止まりました。
実際にSagemakerのモデルダッシュボードを触ってみたので、今回はその所感について書いていこうと思います。
Sagemakerのモデルダッシュボードは2022年12月に発表されており、簡単に説明するとSagemaker CrarifyとSagemaker Model Monitorを統合&ダッシュボード化できるサービスのようです。
Amazon SageMaker Model Dashboard は、予想される動作からの逸脱に関するインサイトや、自動アラートを提供し、トラブルシューティングを支援します。そのため、すべてのモデルにわたる統合モニタリングが可能になり、モデルパフォーマンスを改善できます。
まずはSagemakerでMLモデルの学習〜エンドポイントの作成までやってみた
今回はサクッと新機能を試してみたかったため、AWSハンズオンチュートリアル（Build, Train, and Deploy a Machine Learning Model with Amazon SageMaker）でxgboostのモデルを作成しました。
チュートリアルをみながら、10分〜15分程度でモデルを学習、Sagemakerでエンドポイントを作成&デプロイできました！
ここまでで分かったこと：
- Sagemakerで作ったMLモデルはエンドポイントに登録した時点でモデルダッシュボードに追加される
- モデルダッシュボードはコンソールからじゃないと見れない
モデルダッシュボードを観察
Sagemakerのガバナンス機能からモデルダッシュボードを確認
コンソールからSagemakerを検索し、タブに出てきたガバナンス機能からモデルダッシュボードを選択します。
すると、さっき作成したモデル名が表示されました。クリックしてみます。
モデルの概要、エンドポイント、モニタリングスケジュールが表示されました。
エンドポイントとモニタリングスケジュールは既存の機能のため、今回はモデルの概要のみ確認します。
モデルカードとは？
モデルカードは今回作成していませんが、モデルに関するレポートが作れるサービスです。
モデルの使用目的やリスク評価、トレーニングの詳細と指標、評価結果と所見、考慮事項、推奨事項、カスタム情報などの追加情報などの詳細をカタログ化します。
モデルリネージを見てみる
モデルがどのデータを利用して作られ、どこに格納されたのかがわかります。
s3のURLや実行された時間などは記載がありますが、ログが記載してあるとか、遷移できるとかそういうのはなかったです。個人的に途中でjobが失敗したらどうなるのか気になりました。（今回はやっていません）
モデルのその他の詳細を見てみる
モデルリネージの抽象化版のようなjob全体の情報が記載されており、一部遷移できる状態でした。
モデルダッシュボードはSagemaker Model Monitorとモデル作成の入出力情報がコンソールで一緒に確認できるところが利点のようです。画面右上からバッチジョブに変換/エンドポイント作成ができるようですが、私のチームだと基本的にjobはコード管理しているため使う場面はほぼないと思われます。
まとめ
- 思っていたよりも目新しい機能ではなかった
- コンソールからじゃないとみれないのはちょっと不便（モデルカードはSDKありらしい）
- 商用利用のモデルが複数ある/多い場合は良いかもしれない
- クロスアカウントモデルがサポートされていないようなので注意
私が担当しているMLOpsタスクに取り入れることは一旦検討します。。
ここまでお読みいただき、ありがとうございました！
参考
株式会社D2C d2c.co.jp のテックブログです。 D2Cは、NTTドコモと電通などの共同出資により設立されたデジタルマーケティング企業です。 ドコモの膨大なデータを活用した最適化を行える広告配信システムの開発をしています。
Discussion