Amazon Lookout for Metricsを触ってみる
AWSの基礎を学ぼう 特別編 最新サービスをみんなで触ってみる はじめての異常検知の実施後レポートです。
Amazon Lookout for Metricsとは
ML を使用してデータの異常 (標準からの外れ値など) を自動的に検出できるサービス。
実際に触ってみる
前述の話があるので、N.Virginiaにて実施。
読み取りデータを配置する先はS3: lookoutformetric-shibao-20210522として設定。
推論モデル作成に必要なデータの準備
推論モデル作成に必要なデータをS3にアップロードするため、まずは CloudShellにZIPをアップロードして、
AWSの高速なバックエンドのネットワークを活用して手早くS3のアップロードを完了させる。
aws s3 sync ./ecommerce/ s3://lookoutformetric-shibao-20210522/ecommerce/
- ログの出力間隔ではなく、フォルダ構造が時間単位ということがポイント
集約（aggregate）するデータ自体は秒間隔でも問題ないが、
推論モデルに必要なデータの配置間隔は下記のいずれかに従う必要がある。
通常の環境では、Continuousで継続して取り込まれるデータを元に実測データから推論の精度向上させる。
また、データは新規に取得を始める必要はなく、すでにデータが有る場合は、
「Use historical Data」で過去に溜まっている情報を元に推論モデルの作成が可能。
BackTestは、70％で学習に使って、30％を推論に使う。(これはサービス仕様で現時点で変更不可要素)
Interval×285（1時間単位では、285時間分）のデータが必要。
以上の設定が完了すると、以下のように推論モデルの作成が始まる。
Backtest in progressは、70％の学習が完了した結果であるため、
この時点で、予測を実施することが可能になる。
まとめ
機械学習エンジニアではないものの、ビジネスデータは多くの企業で保有していることから、
簡単に予測モデルを作成することが分かりました。
Amazon Lookout for Metrics を例えば以下のサービスとの接続が可能です。
- Amazon S3
- Amazon Redshift
- Amazon Relational Database Service (RDS)
- Salesforce[1]
- Servicenow[2]
- Zendesk[3]
- Marketo[4]
他にも接続可能なサービスを確認する場合はこちら。
Discussion