💬

Sage Maker つらつら + ML サービス

2024/02/18に公開

SageMaker

Black Belt

https://www.slideshare.net/AmazonWebServicesJapan/20190206-aws-black-belt-online-seminar-amazon-sagemaker-basic-session-130777850
https://www.slideshare.net/AmazonWebServicesJapan/20190213-aws-black-belt-online-seminar-amazon-sagemaker-advanced-session

概要




https://www.itmedia.co.jp/enterprise/articles/1901/04/news009.html

ハイパーパラメータ

(学習)
学習前に決定しておくパラメータ、アルゴリズムの挙動を制御するための値(例: エポック数
※自動チューニング可能

バリアント

(推論)
エンドポイントにデプロイするモデルのこと
→個別にオートスケーリングポリシーの設定が可能
A/B テストの実行も可能(バリアントごとにインスタンス数やリクエスト振り分けの重みづけ設定が可能
SageMaker ProductionVariant API
https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ProductionVariant.html

Elastic Inference

(推論)
CPU のみの EC2 インスタンスに GPU で ML の推論を行うためのアクセラレータを付ける機能
最大75%のコスト削減が見込める

SageMaker API


※PrivateLink 経由での実行可能

ビルトインアルゴリズム



https://www.blog.danishi.net/2021/05/25/post-5001/
処理例

連携サービス

・ノートブックから EMR に接続することで大規模データに対する前処理が高速実行可能
→EMR と同一の VPC/サブネットにノートブックを起動する必要アリ

・S3 へのアクセスは VPC エンドポイント経由可能

SageMaker xx

圧倒的感謝

https://qiita.com/ozzy3/items/5676c5fbd2d56da4a135

SageMaker Ground Truth

アノテーション作業の支援サービス(ワークフロー管理ツール兼アノテーションツール)

SageMaker Neo

SageMaker で学習したモデルを推論環境に最適化された形にコンパイルする

Amazon Translate

高速なテキスト翻訳サービス
S3に格納したファイルを翻訳することが可能
https://dev.classmethod.jp/articles/reintro-managed-ml-translate/

Amazon Transcribe

"音声データ" を文字おこししてテキストにするサービス
リアルタイムの文字おこし可能
Medicalが存在:医療特化
https://dev.classmethod.jp/articles/re-introduction-2022-amazon-transcribe/

Amazon Polly

テキストを音声スピーチに変換するサービス
https://dev.classmethod.jp/articles/introduction-chatgpt-polly-python/

Amazon Lex

会話型インターフェースを持ったアプリケーションを作成するサービス (Alexa と同じエンジン
例)チャットボット
音声認識機能などが備わっている
https://aws.amazon.com/jp/lex/faqs/

Amazon EMR

Hadoopなどのビッグデータフレームワークを使用したデータ分析
https://dev.classmethod.jp/articles/beginner-what-is-emr-overview/

Amazon Comprehend

"テキスト"からインサイトや関係性を発見するための自然言語処理 (NLP) サービス
言語検出、感情分析、キーフレーズ抽出、エンティティ認識、構文分析の処理
https://aws.amazon.com/jp/comprehend/faqs/

Amazon Rekognition

画像や動画に写っている物体やテキスト、顔などを認識する画像分析/認識サービス
シーン分析、感情分析も可能
https://aws.amazon.com/jp/rekognition/faqs/

Amazon Textract

スキャンしたドキュメントからテキスト、手書き文字、およびデータの自動抽出サービス
OCR のような文字認識
https://aws.amazon.com/jp/textract/faqs/

AWS DeepLens (サポート終了: 2024/01/31)

深層学習に対応したビデオカメラ
映した物体や動作、顔などを検出して、結果を抽出できる
https://dev.classmethod.jp/articles/aws-deeplens-run-sample-project-object-detection/

AWS IoT GreenGrass

IoTデバイスにIoTサービス系を連携するために利用されるサービス
モニタリング、遠隔制御、分析や予測、データ連携、が可能
ローカルでML処理を行い、必要な情報のみクラウドへ送信することも可能
https://aws.amazon.com/jp/greengrass/faqs/

Amazon Personalize

データレコメンデーション生成を行うフルマネージドサービス
例)過去の購入履歴から顧客の好みを分析して、気に入る商品を提案する
データ登録、ソリューションの構築、キャンペーン(レコメンデーション取得)作成
https://aws.amazon.com/jp/personalize/faqs/

AWS Panorama

オンプレミスのカメラでコンピュータビジョン (CV) を使えるようにし、高精度かつ低レイテンシーで自動予測を行うことができる ML アプライアンスと SDK サービス
カメラやビデオで撮った映像をもとに ML 処理を行うことが可能
https://aws.amazon.com/jp/panorama/faqs/

Discussion