Zenn
🦔

AWS Machine Learning Engineer Associate試験勉強（インフラ編）

2024/10/21に公開
AWS
機械学習
tech

この記事は？

AWS Machine Learning Engineer Associateの試験を受けることになったので、模擬問題に出ていたインフラをまとめました。AWSのインフラが絡まない機械学習の話題はこの記事には出てきません。試験までの間項目を随時追加していく予定です。

Machine Learning Specialityと内容的には重複する部分も多いので、以下の記事も参考にしてください。
https://zenn.dev/simossyi/articles/6ef7c2df447e20

本文

SageMaker関連

  • SageMaker Canvas
    • ノーコードで機械学習ができるサービス
    • 回帰、分類、時系列予測、自然言語処理、コンピュータービジョンモデルを構築できる（Autopilot）
    • LLM（Bedrock）を呼び出したり、finetune、デプロイができる
  • SageMaker Clarify
    • データセットのバイアス（偏り）やモデル出力のバイアスをレポートできる
    • モデル出力のバイアスに関しては以下のレポートが利用できる。いずれも特徴量が予測にどのくらい貢献するかを定量化する手法
      • Partial Dependence Plot（PDP）
      • SHapley Additive exPlanations（SHAP）
  • SageMaker Data Wrangler
    • ノーコードでデータの分析、前処理と特徴量エンジニアリングを行える
      • 特徴ごとのヒストグラムや散布図、平均分散などの統計情報を出力できる
      • テーブルデータに対する操作（列の削除、欠損値補完等）が実行できる
    • S3やAthenaなどのAWSリソースやサードパーティのソースにアクセスできる
    • SageMaker Studioからの利用が前提
  • SageMaker Endpoint
    • エンドポイントの種類が複数選択できる
      • リアルタイム推論：リアルタイムでの要件に適する。サーバーは立ちっぱなしになるため最もコストがかかる
      • サーバーレス推論：ニアリアルタイムでの要件に適する。初回呼び出し時にはコンテナを立ち上げる時間がかかるが、一度コンテナが立ち上がればリアルタイムに近いレイテンシになる。呼び出した時にのみ課金されるためコストを抑えられる。サーバーレスであるためインスタンスは選べない。GPUも選択不可。エンドポイントの動作時間は60秒、メモリにも制約があり、最小で1GB、最大で6GB
      • 非同期推論：ニアリアルタイムでの要件に適する。動作していない時はサーバーを立ち上げないためコストを抑えられる。推論のデータはS3上に配備する必要がある。エンドポイントの動作時間は1時間、最大1GBの入力を処理できる
  • SageMaker Feature Store
    • 機械学習の入力となる特徴量を一元管理できるサービス
  • SageMaker JumpStart
    • 基盤モデル含む事前学習済みモデルをノーコードで組み込める。Pytorch hubやHuggingFaceのモデルを利用できる
    • SageMaker Studioの機能の一つ
    • エンドポイントが立っているだけで課金が発生する。サーバーレスに実行したい場合はBedrockを使うべき
  • SageMaker Model Monitor
    • デプロイ後(本番環境/エンドポイント)のモデルの予測品質をモニタリングする
      • 作成済みのエンドポイントに対して設定するため、学習時に使うものではない
    • リアルタイム推論とバッチ処理のエンドポイントに対して設定できる
    • 学習時(ベースライン)と比べて推論データの統計情報が異なっていること（データドリフト）を検知できる
    • 推論時のパフォーマンスも計測できる。ただし、正解ラベルの登録を随時要求される
  • SageMaker Model Registry
    • 本番稼働モデルのカタログ化、バージョン管理、メタ情報の関連つけ、承認ステータスの管理、本番環境へのモデルデプロイ、他のユーザーとモデルを共有することができる
  • SageMaker Pipelines
    • データ前処理、学習、評価、デプロイといった機械学習のワークフローを管理できる。step functionsの機械学習版
  • SageMaker Processing
    • フルマネージドなデータ前処理サービス

その他

  • Bedrock
    • 基盤モデル（FM）をサーバーレスに呼び出せるサービス
    • 一部モデルに関しては追加事前学習やfinetuneが可能
  • Bedrock knowledge bases
    • RAGを実現するためのデータ管理サービス
    • マルチターンの会話を実現するセッション管理機能を搭載している
  • Amazon Fraud Detector
    • フルマネージドなオンライン不正検知サービス。複数の不正検知ができる
      • 決済が不正か判定
      • 新規アカウントが不正アカウントか判定
      • トライアルやロイヤリティプログラムの不正利用検知
      • アカウント乗っ取り検知
  • Amazon Kendra
    • マネージドな検索サービス。自然言語で検索できる
    • コネクタを介して接続したリソース（S3やslackなどを選択可能）上のオブジェクトを検索できる
  • AWS Lake Formation
    • データレイクを構成するためのサービス
    • Glueとの違いはデータへのアクセス管理を行うことだが、内部的にはGlueを使っている？ためかGlueにできないことはできないようである
  • Amazon QuickSight
    • BI分析を行うためのサービス
    • LLMが組み込まれており、自然言語で分析クエリを渡せる
  • Amazon Redshift
    • データウェアハウス向けのサービス
    • 分析readyな綺麗なデータを格納するために使う。読み込みをメインの用途としているデータベースとして運用する感じか

Discussion