😎
202412.News (Part2)
自分用のまとめ、re:invent 2024 特集
前の記事
まとめ系記事とか
20241205(JST) 編集
036.Introducing Fast Model Loader in SageMaker Inference: Accelerate autoscaling for your Large Language Models (LLMs) – part 1
- 機能概要: Fast Model Loaderは、Amazon SageMaker Inferenceに新たに導入された機能で、大規模言語モデル（LLM）のデプロイおよびスケーリングを高速化します。特に、モデルの読み込み時間を大幅に短縮し、最大で19%のレイテンシ低減を実現します。従来の方法に比べ、モデルのロード速度が最大15倍向上し、動的なトラフィックやスケーリングイベントに対応するのに適しています。
- アップデート日付: 2024/12/02
- 特徴:
- モデルの重みをAmazon S3から直接GPUにストリーミングすることで、モデルの読み込み時間を短縮。
- 従来の方法と比較して、モデルの読み込み速度が最大15倍向上。
- SageMaker Large Model Inference（LMI）と統合され、LLMの展開を簡素化。
- 高スループットと低レイテンシを実現。
- 利用ケース:
- バーストトラフィックや迅速なスケーリングが求められるLLMベースのサービスでの使用。
- 高速なスケーリングが必要なAIシステムやアプリケーション。
- 動的なトラフィックパターンに適応する必要がある場合。
- 注意事項:
- この機能は、SageMaker Inferenceで利用でき、特定のインスタンス（ml.p4d.24xlargeなど）に対応しています。
- まだすべてのSageMakerワークフローやサービスでサポートされていない可能性があります。
- 対応リージョン: 東京リージョンに対応あり。
- 簡単な利用手順の概要
- 手順1: SageMaker InferenceでFast Model Loaderを有効にする。
- 手順2: モデルをAmazon S3にアップロードし、Fast Model Loaderを使用して直接GPUにストリーミングする設定を行う。
- 手順3: スケーリングイベントに合わせてモデルを迅速にロードする。
| カテゴリー | 専門用語 | 簡潔な説明 |
|---|---|---|
| インフラストラクチャ | Amazon SageMaker Inference | Amazonの機械学習推論のためのフルマネージドサービス。 |
| 性能最適化 | DMA (Direct Memory Access) | CPUメモリからGPUメモリへデータを高速に転送する技術。 |
| 最適化 | Pre-sharding | モデルを事前に分割して、実行時にデータ転送のオーバーヘッドを減少させる技術。 |
Notes
- Introducing Fast Model Loader in SageMaker Inference: Accelerate autoscaling for your Large Language Models (LLMs) – Part 2
- 後で検証
- 対応インスタンス情報を知りたい
037.Supercharge your auto scaling for generative AI inference – Introducing Container Caching in SageMaker Inference
- 機能概要: Amazon SageMakerに新たに追加された「Container Caching」機能は、生成AIモデルの推論スケーリングにかかる時間を大幅に短縮します。これにより、モデルをスケールアップする際のコンテナイメージのダウンロード時間が不要となり、スケーリング処理の効率が向上します。これにより、AI推論のトラフィックスパイク時に、より迅速かつ効率的に対応できるようになります。
- アップデート日付: 2024/12/02
- 特徴:
- コンテナイメージの事前キャッシュにより、スケーリングの時間を劇的に短縮します。
- 新しいインスタンスへのモデルコピーの追加時に、最大30％のレイテンシ削減が見られました。特に、Llama3.1 70Bモデルのスケーリングテストでは、スケーリング時間が56％短縮されました。
- 対応するサービスやモデルには、vLLMを使用したLMI、Hugging Face TGI、PyTorch、NVIDIA Tritonなどが含まれます。
- SageMakerの提供するDLC（Deep Learning Containers）で自動的に有効化され、キャッシュされたバージョンを利用できます。
- 利用ケース:
- 生成AIモデルの高スループット推論要求に対応する際、スケーリング処理を迅速化することで、トラフィックの急増にも耐えられるインフラを提供します。
- 新しいモデルのデプロイメントやモデルのアップデートを素早く行い、より短期間で市場に新機能を展開できます。
- 注意事項:
- この機能は推論コンポーネントでのみサポートされています。
- 対応するDLCを使用する必要があります。
- 対応リージョン: 東京リージョン対応有り
- 簡単な利用手順の概要
- 手順1: SageMakerのDLCを選択し、Container Cachingを自動的に有効化します。
- 手順2: 新しいインスタンスにモデルコピーを追加し、キャッシュされたコンテナを参照してスケーリングを実行します。
- 手順3: スケーリング処理が迅速に完了し、性能向上を実感できます。
| カテゴリー | 専門用語 | 簡潔な説明 |
|---|---|---|
| モデル | Llama3.1 70B | 高度な生成AIモデル、特に大規模な言語モデル（LLM）。 |
| フレームワーク | vLLM | 高性能なLLM推論フレームワーク。 |
| フレームワーク | Hugging Face TGI | Hugging Faceによるテキスト生成推論用のフレームワーク。 |
| フレームワーク | NVIDIA Triton | 高度なAI推論向けのNVIDIAによる推論サーバ。 |
| 機能 | Container Caching | SageMaker推論環境におけるコンテナイメージの事前キャッシュ機能。 |
Notes
- 後で検証
- いいね
038.Unlock cost savings with the new scale down to zero feature in SageMaker Inference
- 機能概要: Amazon SageMakerの新機能として、インフェレンスエンドポイントをゼロインスタンスにスケールダウンする機能が追加されました。この機能により、AIおよび機械学習の推論にかかるコストを削減できるようになり、低トラフィック時や使用していない時期にリソースを無駄なく管理できるようになります。従来は最小インスタンス数が維持されていましたが、この新しいスケーリングオプションにより、インスタンスをゼロまでスケールダウンし、必要に応じて再スケールできます。
- アップデート日付: 2024/12/02
-
特徴:
- インフェレンスエンドポイントがトラフィックが少ない時間帯にスケールダウンしてゼロインスタンスになることで、リソース使用を最適化し、コスト削減が可能になります。
- 従来のオートスケーリング機能を拡張し、スケールダウン機能を追加。これにより、トラフィックの変動に柔軟に対応できます。
- 現在、インフェレンスコンポーネントに対してこの機能がサポートされています。
- 開発およびテスト環境などでの活用が想定されており、モデルやエンドポイントを自動でスケールダウンできます。
-
利用ケース:
- 定期的なトラフィックパターンを持つ場合、トラフィックの少ない時間帯にインスタンスをゼロにスケールダウン。
- トラフィックが不規則な場合やスパイクがある場合、コスト削減を目的としてインスタンスをゼロにスケールダウンする。
- 開発やテスト環境で、新しいMLモデルの評価時にエンドポイントを使い終わった後自動的にスケールダウン。
-
注意事項:
- スケールダウン後のスケールアップには一定の遅延（コールドスタート）があり、初期リクエストが失敗する可能性があります。
- スケールダウンはインフェレンスコンポーネントでのみ利用可能。
- 対応リージョン: 東京リージョン対応あり。
-
簡単な利用手順の概要:
- 手順1: マネージドインスタンススケーリングを有効にして、インフェレンスエンドポイントを設定します。
- 手順2: スケーリングポリシーを定義し、トラフィックパターンに合わせてスケールダウン/アップを設定します。
- 手順3: 実行中のインフェレンスコンポーネントを確認し、必要に応じてスケールダウンの状態を確認します。
| カテゴリー | 専門用語 | 簡潔な説明 |
|---|---|---|
| サービス | インフェレンスコンポーネント | SageMakerの推論用リソースで、スケールダウン機能が使用可能。 |
039.Amazon SageMaker launches the updated inference optimization toolkit for generative AI
- 機能概要: Amazon SageMakerは、生成AIモデルの推論を最適化するためのツールキットを更新しました。このアップデートには、新たに追加された推論の高速化やコスト削減を実現する機能が含まれています。主な機能として、Meta Llama 3.1モデルのための予測的デコーディング、FP8量子化によるモデルサイズと推論レイテンシの最適化、TensorRT-LLMによるコンパイルサポートなどが提供されています。
- アップデート日付: 2024/12/03
- 特徴:
- 予測的デコーディングをサポートし、推論のスループットを向上させる。これにより、Meta Llama 3.1 70Bおよび405Bモデルの推論速度が向上。
- FP8量子化をサポートし、モデルサイズを削減し、推論のレイテンシを短縮。FP32に比べてメモリ使用量、計算速度、消費電力が改善される。
- TensorRT-LLMと統合し、事前コンパイルによるパフォーマンス向上が可能。デプロイメント時にモデルの重みを事前コンパイルすることで、モデルデプロイメントの速度が向上。
- 対応するサービスには、SageMaker JumpStartとSageMaker Python SDKが含まれ、さまざまな生成AIモデルに適用できる。
- 利用ケース:
- 高速な生成AI推論が求められるアプリケーションで、コスト効率を最大化したい場合。
- 大規模な言語モデル（LLM）を運用する際に、最適化手法を活用してリソース効率を向上させる場合。
- モデルのデプロイメント時間を短縮したい場合。
- 注意事項:
- 量子化による精度の低下が発生する可能性があり、使用前にモデルのパフォーマンスを確認することが推奨される。
- SageMakerにおける推論最適化には、利用するインスタンスの選択が影響を与える可能性がある。
- 対応リージョン: 東京リージョン対応有
- 簡単な利用手順の概要:
- 手順1: SageMaker JumpStartで対応するモデルを選択し、最適化オプションを選ぶ。
- 手順2: 予測的デコーディングやFP8量子化を適用する。
- 手順3: 最適化されたモデルを評価し、SageMakerエンドポイントでデプロイ。
| カテゴリー | 専門用語 | 説明 |
|---|---|---|
| 最適化技術 | 予測的デコーディング | 小さなドラフトモデルを使用して、生成されるトークンの候補を高速に生成し、大きなターゲットモデルで検証して最終的なトークンを決定する手法。 |
| モデル圧縮 | FP8量子化 | 8ビットの浮動小数点精度を使用して、モデルのメモリ使用量と推論のレイテンシを削減する技術。 |
| モデルコンパイル | TensorRT-LLM | NVIDIAのTensorRT-LLMを使用して、モデルの計算グラフを最適化し、GPU上でのパフォーマンスを向上させる技術。 |
Notes
- 後で検証
- 気になるーーーー！！！
040.Deploy Meta Llama 3.1-8B on AWS Inferentia using Amazon EKS and vLLM
- 機能概要: 本記事では、Meta Llama 3.1-8B モデルをAWSのInferentia 2インスタンスを使用して、Amazon EKS（Elastic Kubernetes Service）で効率的にデプロイする方法を紹介しています。これにより、大規模な言語モデル（LLM）の運用をスケーラブルかつコスト効率よく行うことができます。
- アップデート日付: 2024/11/26
- 特徴:
- AWSのInferentia 2インスタンスを活用した、LLMのスケーラブルで低コストなデプロイ方法を提供。
- Amazon EKSとAWS Neuronを使用することで、モデルの推論を効率的に行い、パフォーマンスを最適化。
- サポートするサービスには、EKS、AWS Neuron、vLLMなどがあり、これらの組み合わせによってLLMを迅速にデプロイ可能。
- オプションで、複数のノードやテナントをサポートするスケーラビリティの向上や、パフォーマンス監視、負荷分散の設定も可能。
- 利用ケース:
- 大規模な生成型AIモデル（LLM）のデプロイメントを必要とする企業や開発者に最適です。具体的には、複数のテナントを扱う場合や、パフォーマンスとコスト効率を重視するプロジェクトに向いています。
- 注意事項:
- サポート対象となるインスタンス（例: inf2.48xlarge）のサービスクォータが十分である必要があるため、事前に確認と設定が必要です。
- デプロイ環境のセットアップには特定のツール（AWS CLI、eksctl、kubectl、dockerなど）が必要です。
- 対応リージョン: 東京リージョンに対応しています。
- 簡単な利用手順の概要:
- 手順1: EKSクラスターを作成する（
eksctlを使用）。 - 手順2: Inferentia 2のノードグループをセットアップ。
- 手順3: 必要なソフトウェアと依存関係をインストール。
- 手順4: Dockerイメージを作成し、Amazon ECRにプッシュ。
- 手順5: Kubernetesデプロイメントを設定し、Meta Llama 3.1-8Bモデルをデプロイ。
- 手順1: EKSクラスターを作成する（
| カテゴリー | 専門用語 | 説明 |
|---|---|---|
| インフラ | Amazon EKS | AWSのマネージドKubernetesサービス。コンテナ化されたアプリケーションをスケーラブルにデプロイするためのプラットフォーム。 |
| モデル | Meta Llama 3.1-8B | Metaの大規模言語モデルで、生成型AIの用途に特化したモデル。 |
| リソース管理 | Inferentia 2 | AWSのAI推論専用インスタンス。高性能で低コストな推論を提供。 |
Notes
- Inferentia が vLLM 対応したのは Good
- Serving LLMs using vLLM and Amazon EC2 instances with AWS AI chips 類似ブログ
041.Buy with AWS: an accelerated procurement experience on AWS Partner sites, powered by AWS Marketplace
- 機能概要: 「Buy with AWS」は、AWS Marketplaceから提供されるパートナーソリューションをAWSアカウントを使用して購入できる新しい仕組みで、AWS外のパートナーサイトで製品の発見、評価、購入を加速し、シームレスな調達体験を提供します。
- アップデート日付: 2024/12/04
- 特徴:
- AWS Marketplace内で提供されるパートナー製品を、パートナーのウェブサイトでも購入できるようになり、評価を迅速に行える機能。
- さまざまなパートナーサイトで、試用版の利用やデモ依頼、カスタム価格のリクエストが可能。
- 購入後は、AWS Marketplaceでの統合請求、サブスクリプション管理、コスト最適化ツールの利用が可能。
- パートナーは、「Buy with AWS」ボタンをウェブサイトに追加することで、顧客が製品を簡単に購入・評価できるよう支援。
- 利用ケース:
- ユーザーがパートナーサイトで製品を発見し、AWSアカウントを通じてすぐに試用・購入できる。例えば、Wizでクラウドセキュリティを評価したり、Databricksのサブスクリプションを購入したりする際に利用可能。
- 注意事項:
- AWS Marketplaceでの購入と統合請求のためには、AWSアカウントにサインインしている必要があります。
- 特定のパートナーサイトでの製品提供方法や体験は異なる場合があります。
- 対応リージョン: 東京リージョン対応あり
- 簡単な利用手順の概要
- 手順1: パートナーサイトで「Buy with AWS」を選択。
- 手順2: AWSアカウントにサインインし、製品を選択。
- 手順3: 製品を購入または無料トライアルに申し込む。
- 専門用語:
| カテゴリー | 専門用語 | 説明 |
|---|---|---|
| 機能 | AWS Marketplace | クラウドソリューションを購入・管理するためのAWSのデジタルマーケットプレイス。 |
| プロセス | Buy with AWS | AWSアカウントを利用して、パートナーサイトから直接製品を評価・購入する新しい方法。 |
| 購入・評価機能 | プライベートオファー | カスタム価格や特別な取引条件に基づいて製品を購入するリクエスト機能。 |
| 課金・管理機能 | 統合請求 | AWS Marketplaceでのすべての購入に対して統合された請求管理を提供する機能。 |
Notes
- マケプレ便利だけどめっちゃ UI アレなので自社のページに Buy with AWS つけられるのよさげ
042.Announcing new AWS AI Service Cards to advance responsible generative AI
- 機能概要: AWSは、Amazon Nova Reel、Amazon Canvas、Amazon Nova Micro、Lite、Pro、Amazon Titan Image Generator、Amazon Titan Text Embeddingsの新しいAWS AIサービスカードの提供開始を発表しました。これらのカードは、AWSのAIサービスの使用例や制限、責任あるAI設計の選択肢、性能最適化のベストプラクティスに関する情報を提供するリソースです。
- アップデート日付: 2024/12/04
- 特徴:
- AWS AIサービスカードは、AI開発と展開における公正性、説明責任、プライバシーとセキュリティ、安全性、制御性、信頼性と堅牢性、ガバナンス、透明性など、重要な要素に焦点を当てています。
- これらのカードは、ユーザーがAIサービスをアプリケーションやワークフローに組み込む際に、意思決定を行うための支援を提供します。
- 対応するサービスには、Amazon Nova Reel、Amazon Nova Canvas、Amazon Nova Micro、Lite、Pro、Amazon Titan Image Generator、Amazon Titan Text Embeddingsが含まれます。
- AWSは、ユーザーとコミュニティからのフィードバックをもとにAIサービスカードを進化させ、拡充していく予定です。
- 利用ケース:
- 顧客がAIサービスをアプリケーションに統合する際に、サービスの利用目的や制限を理解し、責任あるAI設計を選択するための情報源として利用されます。
- 注意事項:
- 現時点では、AIサービスカードは一部のAWS AIサービスに対応しており、今後さらに拡充される予定です。
- 対応リージョン: 東京リージョンの対応有無は記載されていませんが、AWSサービスの一般的な対応地域で利用可能と考えられます。
- 簡単な利用手順の概要
- 手順1: AWS Management Consoleにアクセスし、AIサービスカードに関連するサービスを選択します。
- 手順2: サービスカードに記載されている情報を確認し、利用に関する意思決定を行います。
専門用語
| カテゴリー | 専門用語 | 説明 |
|---|---|---|
| AI開発 | 公正性 (Fairness) | AIシステムがすべてのユーザーに公平であることを確保するための設計。 |
| AI開発 | 説明責任 (Explainability) | AIの意思決定プロセスを理解し、説明できる能力。 |
| AI開発 | プライバシーとセキュリティ (Privacy and Security) | ユーザーデータとAIシステムの安全性を保護するための設計。 |
| AI開発 | 安全性 (Safety) | AIシステムが安全に動作し、予期しないリスクを避けるための設計。 |
| AI開発 | 制御性 (Controllability) | ユーザーがAIシステムの動作を適切に制御できる能力。 |
| AI開発 | 信頼性と堅牢性 (Veracity and Robustness) | AIシステムが予測可能で強固であることを保証する設計。 |
| AI開発 | ガバナンス (Governance) | AIシステムに関する規則と管理の整備。 |
| AI開発 | 透明性 (Transparency) | AIシステムがどのように動作するかを明確にすること。 |
043.Accelerate foundation model training and fine-tuning with new Amazon SageMaker HyperPod recipes
- 機能概要: Amazon SageMaker HyperPodレシピは、データサイエンティストと開発者が短時間で最先端の性能で基盤モデル（FM）のトレーニングとファインチューニングを行うための最適化されたレシピを提供します。これにより、人気のある公開されているFM（例：Llama 3.1 405B、Llama 3.2 90B、Mixtral 8x22B）のトレーニングを迅速に開始できます。
- アップデート日付: 2024/12/04
- 特徴:
- SageMaker HyperPodレシピは、トレーニングに必要な計算リソースを自動的に調整し、最適なトレーニングプランを作成できます。
- トレーニング性能を最大化し、コストを削減するために、GPUまたはTrainiumベースのインスタンスをシームレスに切り替えることができます。
- サポートされているサービス: SageMaker HyperPod、Slurm、Amazon EKS（Elastic Kubernetes Service）、SageMakerトレーニングジョブ。
- オプション機能: モデル固有のトレーニングパラメータの調整や、チェックポイント管理、TensorBoardロギングの自動化など。
- 利用ケース:
- 大規模な基盤モデルを迅速にトレーニング・ファインチューニングしたい場合に最適です。
- トレーニングの自動化や、トレーニングの途中で障害が発生した場合の高速復旧を行いたい場面。
- 注意事項:
- インスタンスの設定やデータの配置に関して、事前にレシピの編集が必要です。
- 訓練を開始する前に、GitHubリポジトリからの設定ファイルの調整が求められます。
- 対応リージョン: 東京リージョン対応あり
- 簡単な利用手順の概要
- 手順1: SageMaker HyperPodレシピのGitHubリポジトリからレシピをクローンし、必要な設定を行います。
- 手順2: 例えば、インスタンスの種類やデータセットの場所などのパラメータを設定します。
- 手順3: 設定ファイルを保存し、トレーニングを実行します。
- 専門用語:
| カテゴリー | 専門用語 | 説明 |
|---|---|---|
| サービス | Amazon SageMaker HyperPod | 高速トレーニングとファインチューニングを支援するAWSのサービス |
| クラスタ管理 | Slurm | 分散トレーニングのためのジョブスケジューラ、特にクラスター管理に使用される |
| モデルタイプ | Llama, Mixtral | 公開されている基盤モデル、SageMakerでサポートされているトレーニング対象 |
| 訓練方法 | ディストリビュートトレーニング | 複数の計算リソースで並列にトレーニングを行う方法 |
| インスタンス | Trainium, GPU | トレーニングに特化したAWSのコンピューティングリソース |
Notes
044.Announcing GenAI Index in Amazon Kendra
-
機能概要: Amazon Kendraは、AIを活用した検索サービスで、組織がインテリジェントな検索体験や生成AIアプリケーションのための情報検索強化生成(RAG)システムを構築できるようにします。新たに、Kendra GenAI Indexが導入され、AWSの顧客はこれを利用して高度な検索精度を実現することができます。GenAI Indexは、最新の情報検索技術とセマンティックモデルを活用し、様々なデータソースからコンテンツを容易に取り込むことができます。
-
アップデート日付: 2024/12/04
-
特徴:
- Kendra GenAI Indexは、生成AIアプリケーションのために特化した検索インデックスで、AWSの他のサービスとの連携が可能です。
- 最新の情報検索技術とセマンティックモデルにより、高い検索精度が提供されます。
- Amazon Bedrock Knowledge BaseやAmazon Q Businessなど、AWSの生成AIサービスとの相互運用が可能です。
- 43の異なるデータソースへのコネクタをサポートし、さまざまなコンテンツのインジェストを容易にします。
-
利用ケース:
- 生成AIアプリケーションのための情報検索機能を強化したい企業。
- 大量のコンテンツを処理する知識ベースを構築し、AIを活用した高度な検索・応答システムを作成する企業。
-
注意事項:
- 現在、US East (N. Virginia) および US West (Oregon) リージョンのみで利用可能です。
- 東京リージョンには対応していません。
-
対応リージョン: US East (N. Virginia)、US West (Oregon)（東京リージョン非対応）
-
簡単な利用手順の概要:
- 手順1: AWSのコンソールからKendra GenAI Indexを有効化し、適切なデータソースを選択します。
- 手順2: Amazon Bedrock Knowledge Baseでインデックスを利用し、生成AIアプリケーションと連携します。
-
専門用語:
| カテゴリー | 専門用語 | 簡潔な説明 |
|---|---|---|
| モデル | セマンティックモデル | 言語や意味を理解するために使用されるAIモデル。 |
| データソース | コネクタ | 異なるデータソースとの接続を提供するインターフェース。 |
Notes
045.Amazon Bedrock Data Automation now available in preview
- 機能概要: Amazon Bedrock Data Automation（BDA）は、開発者がドキュメント、画像、動画、音声などの非構造化のマルチモーダルコンテンツから価値あるインサイトを自動生成し、Generative AI（GenAI）ベースのアプリケーションを構築できる新機能です。これにより、動画の重要な瞬間の要約、不適切な画像コンテンツの検出、複雑なドキュメントの自動分析などが可能になります。BDAは、出力のカスタマイズも可能で、システムやアプリケーションに必要な一貫性のあるフォーマットで特定のインサイトを生成できます。
- アップデート日付: 2024/12/04
- 特徴:
- 開発者が非構造化のマルチモーダルコンテンツを処理し、貴重なインサイトを自動的に抽出することができる。
- 既存の代替ソリューションと比較して、低コストで高精度な結果を提供し、視覚的根拠やハルシネーションの軽減機能を備えている。
- Bedrock Knowledge Basesとの統合により、RAG（Retrieval Augmented Generation）向けの有用な情報を生成できる。
- サンプルデータを使ってBDAの出力を設定し、アプリケーションに統合することで、スケールでの非構造化コンテンツ処理が可能。
- 利用ケース:
- 文書処理の自動化、メディア分析、非構造化データを中心とした自動化ソリューションの構築。
- 大量の非構造化データから有用な情報を引き出して、生成型AIを活用したアプリケーションに組み込む場合。
- 注意事項:
- 現在はUS West (Oregon)リージョンでプレビュー提供中で、東京リージョンには対応していない。
- 対応リージョン: US West (Oregon)リージョンのみ対応、東京リージョン未対応
- 簡単な利用手順の概要
- 手順1: BedrockコンソールでBDAを設定し、サンプルデータを使って出力をカスタマイズする。
- 手順2: 統一されたマルチモーダル推論APIをアプリケーションに統合し、非構造化コンテンツをスケールで処理する。
| カテゴリー | 専門用語 | 説明 |
|---|---|---|
| コンテンツ | マルチモーダルコンテンツ | 文章、画像、音声、動画などの複数の形式で提供されるデータ。 |
046.Amazon Bedrock Knowledge Bases now supports structured data retrieval
- 機能概要: Amazon Bedrock Knowledge Basesが、自然言語で構造化データをクエリする機能をサポートするようになりました。この機能により、ユーザーは複数の構造化データソースから直接データを取得することができ、データを移動させたり前処理を行う必要がありません。自然言語処理を活用して、クエリをSQLに変換し、データソースから直接情報を引き出せます。
- アップデート日付: 2024/12/04
- 特徴:
- 自然言語をSQLに変換するモジュールが組み込まれ、構造化データを効率的に検索できるようになりました。
- SQL変換精度を高めるために、データベーススキーマや過去のクエリ履歴などのコンテキスト情報を活用しています。
- 現在、Amazon RedshiftやAmazon Sagemaker Lakehouseからデータを取得できる。
- 生成されたSQLクエリを実行し、結果を要約して提示する機能が提供されています。
- 利用ケース:
- 小売業のアナリストが「先月のトップ5販売商品は？」といった質問をし、SQLクエリを自動的に生成し、データベースから情報を取得するケース。
- 様々な構造化データに基づいたカスタム生成AIアプリケーションの開発に利用される。
- 注意事項:
- 現時点では、Amazon RedshiftおよびAmazon Sagemaker Lakehouseのみがサポートされています。
- 一部の商業リージョンにて利用可能です。
- 対応リージョン: 東京リージョンは対応しています。
- 簡単な利用手順の概要:
- 手順1: Amazon Bedrock Knowledge Basesを有効にし、対象のデータソース（Amazon RedshiftやSagemaker Lakehouse）を接続します。
- 手順2: 自然言語でデータクエリを入力し、結果を受け取ります。
- 専門用語:
| カテゴリー | 専門用語 | 説明 |
|---|---|---|
| 自然言語処理 | 自然言語からSQLへの変換 (NL2SQL) | ユーザーが入力した自然言語の質問をSQLクエリに変換する技術。 |
| データベース | Amazon Sagemaker Lakehouse | 機械学習向けの統合型データレイクおよびウェアハウス。 |
| アプリケーション開発 | カスタム生成AIアプリケーション | 特定のニーズに合わせて開発された生成AIを活用したアプリケーション。 |
047.Solve complex problems with new scenario analysis capability in Amazon Q in QuickSight
-
機能概要:
Amazon QuickSightの新機能であるAmazon Qは、ビジネスユーザーが自然言語プロンプトを使用して複雑な問題に対するシナリオ分析を行えるようにする。従来、スプレッドシートや他のツールで時間をかけて行っていた分析を、AIアシスタントが自動的にデータを解析し、提案されたアクションを提示することで、短時間で解決に導く。 -
アップデート日付: 2024/12/04
特徴:
-
メインの機能特徴:
ビジネスユーザーが「新しいシカゴ店をニューヨークの旗艦店と同じくらい成功させるにはどうすればよいか？」といった質問を自然言語で入力することで、Amazon Qが解析手法を提案し、自動的にデータを分析して結果と行動提案を可視化して提示する。 -
性能向上:
従来のスプレッドシートと比較して、最大10倍のスピードでシナリオ分析を完了できる。 -
対応するサービス:
Amazon Athena、Amazon Aurora、Amazon Redshift、Amazon S3、Amazon OpenSearch Serviceと連携可能。また、QuickSightダッシュボードからのデータ読み取りが可能。 -
オプション機能:
CSVファイルや単一テーブルの.xlsxファイルをアップロードして、独自のデータを分析に取り込むことも可能。
利用ケース:
- イベントの登録者情報を分析して、マーケティング効果を高める企業を特定し、参加者数を増やすための最適な戦略を策定するケース。例えば、登録者数が少ない企業を見つけて、どの企業に対してマーケティングを強化すべきか優先順位をつけることができる。
注意事項:
- 現在、プレビュー版として提供されており、QuickSight Proユーザーのみが対象。
- CSVおよび単一テーブルの.xlsxファイルに制限される。
対応リージョン:
- 東京リージョンでは未対応。現在、US East (N. Virginia) と US West (Oregon) のみで利用可能。
簡単な利用手順の概要:
- Amazon QuickSightにログインし、Amazon Q機能を有効化する。
- 分析に使用するデータソース（Amazon Athena、Redshiftなど）を接続するか、CSVまたは.xlsxファイルをアップロードする。
- 自然言語で質問を入力し、提案されたシナリオ分析手法を選択する。
- 分析結果と提案されたアクションを確認し、必要に応じて変更や再分析を行う。
専門用語:
| カテゴリー | 専門用語 | 説明 |
|---|---|---|
| 分析手法 | シナリオ分析 | 特定のシナリオに基づいてビジネス戦略を策定するためのデータ分析。 |
048.Use Amazon Q Developer to build ML models in Amazon SageMaker Canvas
-
機能概要:
Amazon Q DeveloperがAmazon SageMaker Canvasで利用可能になりました。この機能は、機械学習（ML）の専門知識を持たないビジネスアナリストやデータエンジニアなどのドメインエキスパートが、自然言語でMLモデルを構築できるように支援します。データ分析からモデル構築、デプロイまで、ガイド付きのMLワークフローで迅速にビジネス課題を解決できるようになります。 -
アップデート日付: 2024/12/04
-
特徴:
- ガイド付きワークフロー: 自然言語で指示を入力することで、MLモデル構築が可能。データの前処理からモデルの選択、評価、デプロイまで一貫したサポートを提供します。
- データ準備とAutoML: データの異常値除去や変換を自動で実施し、最適なモデルを提案します。
- 透明性と説明可能性: データ変換ステップやモデルの精度指標を表示し、技術者がレビュー、検証、更新できるようにします。
- 性能指標: 回帰モデルではRMSE（Root Mean Square Error）を表示し、分類モデルでは混同行列や適合率-再現率スコアを確認可能です。
-
利用ケース:
- ビジネスアナリストが販売データを使用して、将来の販売価格を予測。
- マーケティングチームがキャンペーンの効果を予測するためのモデル構築。
- データエンジニアが新しいデータセットを評価し、異常値を修正してモデル精度を向上。
-
注意事項:
- この機能は現在プレビュー版として提供されており、正式リリースではありません。
- SageMaker Canvasのワークスペースやモデル構築に必要なリソースには標準の料金が適用されます。
-
対応リージョン:
- 現時点ではプレビュー版として提供されているため、東京リージョンでの対応についてはAWSの公式ページを確認する必要があります。
-
簡単な利用手順の概要
- SageMaker Canvasを起動し、「Amazon Q Developer」を選択。
- 新しい会話を開始し、予測したいビジネス課題を自然言語で入力。
- データセットをアップロードし、ターゲットカラムを選択。
- データ品質の確認と修正を実施し、モデルトレーニングを開始。
- モデルの評価指標を確認し、必要に応じて修正後、デプロイを行う。
-
専門用語:
| カテゴリー | 専門用語 | 簡潔な説明 |
|---|---|---|
| 機械学習 | 回帰モデル (Regression Model) | 連続値を予測するMLモデル。 |
| データ分析 | 異常値 (Outlier) | データの中で他と大きく異なる値。 |
| データ変換 | データ変換 (Data Transformation) | データをMLに適した形式に変換するプロセス。 |
| 性能評価 | RMSE (Root Mean Square Error) | 予測値と実測値の誤差の平均を二乗平均平方根で表したもの。 |
049.Amazon Bedrock Guardrails now supports multimodal toxicity detection with image support (preview)
-
機能概要:
Amazon Bedrock Guardrailsが、テキストに加えて画像データにも対応したマルチモーダルの有害コンテンツ検出機能を提供するプレビューを開始しました。この新機能により、生成AIアプリケーション内で有害な画像コンテンツを検出し、ブロックすることが可能になります。 -
アップデート日付: 2024/12/04
-
特徴:
- テキストと画像コンテンツの両方に対する有害コンテンツ検出・フィルタリング機能を提供。
- 「憎悪」「侮辱」「性的」「暴力」といったカテゴリに基づいてコンテンツを検出し、設定した閾値に応じてブロック可能。
- すべてのAmazon Bedrockの基盤モデル（FMs）およびカスタムファインチューニング済みモデルで利用可能。
-
API連携: Amazon Bedrock Guardrails独自の
ApplyGuardrailAPIを使用することで、モデルに依存せずにコンテンツ検証が可能。 - オプション機能として、PII（個人識別情報）のマスキングやコンテキストに応じた検証をサポート。
-
利用ケース:
KONE社では、設計図やマニュアルを統合した生成AIアプリケーションでの活用を検討しており、特に文脈や関連性を検証する機能が有効だと評価しています。 -
注意事項:
- テキスト用の「不正行為」や「プロンプト攻撃」のカテゴリは画像データには適用されません。
- プレビュー段階の機能であるため、正式版リリース時に変更が生じる可能性があります。
-
対応リージョン:
- 東京リージョン（Asia Pacific: Tokyo）を含む複数のリージョンで利用可能（米国東部、米国西部、ヨーロッパ、AWS GovCloudなど）。
-
簡単な利用手順の概要:
- 手順1: AWS Management Consoleにログインし、Amazon BedrockのGuardrailsを選択。
- 手順2: 新しいガードレールを作成し、テキストと画像のコンテンツフィルタを設定。
- 手順3: 設定を保存し、モデルを選択してガードレールをテスト。
-
手順4:
ApplyGuardrailAPIを使用して、アプリケーション内でコンテンツをリアルタイムで評価。
専門用語リスト
| カテゴリー | 説明 |
|---|---|
| Amazon Bedrock Guardrails | Amazon Bedrock内で有害コンテンツの検出やフィルタリングを行う機能。 |
| マルチモーダル | テキストや画像など複数のデータ形式を同時に扱う技術。 |
| PII (Personally Identifiable Information) | 個人を識別できる情報で、プライバシー保護のためにマスキングされる。 |
050.New Amazon Bedrock capabilities enhance data processing and retrieval
-
機能概要:
Amazon Bedrockが新たに提供する4つの機能拡張により、生成AIを活用したデータ処理と検索がより効率的に行えるようになりました。これにより、企業は構造化および非構造化データから迅速かつ費用効果の高い形でインサイトを得ることが可能になります。 -
アップデート日付: 2024/12/04
-
特徴:
-
Amazon Bedrock Data Automation (プレビュー版): 文書、画像、音声、動画などのマルチモーダルな非構造化データからインサイトを抽出するフルマネージド機能です。IDP（Intelligent Document Processing）やRAG（Retrieval-Augmented Generation）のワークフローを迅速かつ低コストで構築できます。
- 結果は標準出力とカスタム出力として生成可能で、APIで一元管理が可能です。
- マルチモーダルデータ処理: Bedrock Knowledge Basesが、Amazon Bedrock Data Automationを用いてテキストと視覚情報を同時に処理することをサポートします。これにより、テキストと画像が含まれるドキュメントの回答精度と関連性が向上します。
- GraphRAGのサポート: Amazon Bedrock Knowledge Basesが、グラフ技術を活用したRAG機能を提供します。複雑なデータ間の関係を管理し、より包括的かつ正確な回答を生成します。
- 構造化データの検索: データウェアハウスやデータレイクに対する自然言語クエリをサポートし、RedshiftやNeptune Analyticsなどのデータソースからインサイトを抽出します。SQLの自動生成とクエリ実行を一元管理します。
-
Amazon Bedrock Data Automation (プレビュー版): 文書、画像、音声、動画などのマルチモーダルな非構造化データからインサイトを抽出するフルマネージド機能です。IDP（Intelligent Document Processing）やRAG（Retrieval-Augmented Generation）のワークフローを迅速かつ低コストで構築できます。
-
利用ケース:
- 保険会社が自動車保険の請求処理を自動化することで、業務の効率化と生産性向上を図ることができます。
- メディア企業がテレビ番組を分析し、シーンごとの要約や企業ロゴ検出を通じて広告配置を最適化します。
- 金融サービス企業が複雑な財務書類を解析し、GraphRAGを活用して異なる財務エンティティ間の関係を把握します。
-
注意事項:
- カスタム出力は現在、文書と画像のみに対応しています（プレビュー段階）。
- GraphRAG機能を利用する際は、Amazon Neptune Analyticsに追加料金が発生します。
- 構造化データの検索機能には、データクエリのための追加料金が適用されます。
-
対応リージョン:
- Amazon Bedrock Data Automation: 米国西部（オレゴン）リージョンでプレビュー提供中。
- 東京リージョンでは、現時点でサポートされていません。
-
簡単な利用手順の概要:
- Amazon Bedrockコンソールで「Data Automation」を選択し、対象となるドキュメントやファイルをアップロードします。
- 標準出力またはカスタム出力を設定し、必要なインサイトを生成します。
- Amazon S3バケットに保存された結果をレビューし、カスタマイズしたブループリントをプロジェクトに統合します。
- 必要に応じて、構造化データの検索やGraphRAG機能をKnowledge Basesに設定し、統合された情報からクエリ結果を取得します。
Notes
- 後で検証
051.Reduce costs and latency with Amazon Bedrock Intelligent Prompt Routing and prompt caching (preview)
-
機能概要:
Amazon Bedrockがプレビューとして「Intelligent Prompt Routing」と「Prompt Caching」の2つの機能を導入しました。これにより、生成AIアプリケーションにおけるコスト削減と遅延の低減を可能にします。 -
アップデート日付: 2024/12/04
-
特徴:
-
Intelligent Prompt Routing
プロンプトごとに最適なファウンデーションモデル（FMs）を選択し、クエリの複雑さに応じてモデルを切り替えることで、品質とコストのバランスを最適化します。AnthropicのClaudeファミリー（Claude 3.5 Sonnet と Claude 3 Haiku）やMetaのLLaMAファミリー（Llama 3.1 70B と 8B）などが対応しています。- 最大30%のコスト削減が可能です。
-
Prompt Caching
同じコンテキストを複数回利用する際、コンテキストを一時的にキャッシュすることで、コストを最大90%、遅延を最大85%削減します。- キャッシュは最終アクセスから5分間保持されます。
-
Intelligent Prompt Routing
-
利用ケース:
- Intelligent Prompt Routing: カスタマーサポートアシスタントなど、単純なクエリを軽量で安価なモデルに、複雑なクエリを高性能なモデルに割り当てることで、効率的なリソース利用が可能です。
- Prompt Caching: ドキュメントQ&Aシステムやコーディングアシスタントなど、同じコンテキストを頻繁に参照するアプリケーションに適しています。
-
注意事項:
- プロンプトキャッシュは最終アクセスから5分で期限切れになります。
- プロンプトルーティングはプレビュー版であり、サポート対象のモデルに制限があります。
-
対応リージョン:
- 東京リージョンの対応状況はまだ明記されていません。
-
簡単な利用手順の概要:
- AWSマネジメントコンソールで「Foundation Models」の「Prompt routers」を選択します。
- ルータを選択し、モデル間のルーティング設定を確認します。
- AWS CLIまたはAWS SDKを使用して、指定したARNを
model-idとしてAPI呼び出しを行います。
-
専門用語:
| カテゴリー | 専門用語 | 簡潔な説明 |
|---|---|---|
| モデルファミリー | LLaMA | Meta社の生成AIモデルファミリー。 |
| API | Converse API | Amazon Bedrockが提供する対話型API。 |
| 機能 | Intelligent Prompt Routing | プロンプトに最適なモデルを自動選択する機能。 |
| 機能 | Prompt Caching | プロンプト内のコンテキストをキャッシュする機能。 |
| リソース | Inference Profile | 特定のモデルに関連付けられた推論プロファイル。 |
052.Amazon Bedrock Marketplace: Access over 100 foundation models in one place
-
機能概要:
Amazon Bedrock Marketplaceは、Amazon Bedrockを通じて、IBMやNvidiaといった大手企業のモデルから、韓国語処理に特化したUpstagesのSolar Pro、タンパク質研究用のEvolutionary ScaleのESM3など、100を超える汎用および専門特化型のファウンデーションモデル（FMs）を1か所で発見、テスト、デプロイできる新しい機能です。モデルの管理が簡略化され、企業向けのユースケースに迅速に適応できます。 -
アップデート日付: 2024/12/04
特徴
-
モデルアクセス:
Amazon Bedrockの標準APIを介して、汎用モデルや専門特化型モデルにアクセス可能。Converse APIに対応したモデルは、Amazon Bedrock AgentsやKnowledge Basesと連携可能。 -
多様なモデルプロバイダー:
IBM、Nvidia、Anthropic、Metaなどの大手企業に加え、Arcee AIやWidn.AIのようなマルチリンガルモデルを提供する新興企業も利用可能。 -
インフラ統合:
Amazon SageMakerを利用したインフラ展開に対応し、推論エンドポイントを簡単に管理。既存のIAMロールやVPCに統合することで、セキュリティ面も強化。 -
オプション機能:
VPCデプロイメントやカスタムIAMロール設定など、高度なオプション設定が可能。
利用ケース
- 特定のドメインや言語に最適化されたモデルを迅速に選択してデプロイし、エンタープライズ向けのアプリケーションで利用する。
- AI生成テキスト、画像生成、タンパク質構造予測など、さまざまなユースケースでAIモデルを即座にテストおよび導入する。
- モデル管理やAPIの統一により、マルチテナント環境での効率的な運用が可能。
注意事項
- 各モデルは、モデルプロバイダーの設定に基づいたソフトウェア料金とAmazon SageMakerによるホスティング料金が別途発生します。
- インフラ展開後のエンドポイント管理と設定変更は、Marketplace内の「Deployments」ページから行います。
対応リージョン
- 東京リージョン (Asia Pacific (Tokyo)) を含む、以下のリージョンで利用可能:
- US East (N. Virginia)、US West (Oregon)、Asia Pacific (Mumbai)、Europe (Frankfurt)など。
簡単な利用手順の概要
- 手順1: Amazon Bedrockコンソールで「Model catalog」を選択し、使用したいモデルを検索。
- 手順2: モデル詳細ページで、料金や使用条件を確認し、サブスクリプションを選択。
- 手順3: デプロイ設定を行い、エンドポイントを起動後、Playgroundでテストを実施。
専門用語
| 用語 | 説明 |
|---|---|
| Converse API | チャット向けモデルの切り替えを簡単に行うAPI。 |
Notes
053.AWS announces Amazon SageMaker Partner AI Apps
-
機能概要:
AWSが新たに提供する「Amazon SageMaker Partner AI Apps」は、顧客がSageMaker内でパートナー企業によるAIおよび機械学習（ML）開発向けのアプリケーションを簡単に発見し、導入し、活用できるようにする機能です。これにより、データやモデルを外部に移動させることなく、安全かつプライベートにパートナーソリューションを統合し、高性能なAIモデルを迅速に開発できます。 -
アップデート日付: 2024/12/04
-
特徴:
-
メインの機能特徴:
SageMaker環境内で、外部パートナーが提供するAIアプリケーションを安全に利用し、統合できる機能を提供します。 -
性能についての言及:
アプリの管理やスケーリングがSageMaker内で完全に管理され、データやモデルの流出リスクが軽減されます。
従来は複数の分断されたインターフェイスを行き来する必要がありましたが、統一された開発環境を提供することで開発者体験が向上します。 -
対応するサービスやモデル:
Comet（実験管理）、Deepchecks（品質・コンプライアンス評価）、Fiddler（モデル監視・解析）、Lakera（セキュリティ保護）などのパートナーアプリケーションをサポートしています。 -
オプション機能:
アプリケーションごとに、実験管理、モデル品質評価、セキュリティ管理など、特化した機能を利用可能です。
-
メインの機能特徴:
-
利用ケース:
- AIモデル開発時の実験管理、品質評価、運用時の監視と改善、セキュリティ強化が必要な企業が想定されます。特に、データを外部に出すことなく、統一された環境でAIモデルの開発と運用を効率化したい場合に適しています。
-
注意事項:
- Gov Cloudリージョンでは利用できません。
- パートナーアプリケーションごとに追加のサブスクリプションが必要となる場合があります。
-
対応リージョン:
東京リージョンは対応していますが、Gov Cloudは対象外です。 -
簡単な利用手順の概要:
- SageMakerコンソールから「Partner AI Apps」にアクセスします。
- 利用したいアプリケーションを検索し、サブスクライブします。
- 必要な権限を設定し、SageMaker環境内でアプリケーションを起動します。
- アプリケーションを用いてモデルの開発、管理、評価を行います。
専門用語リスト
| カテゴリー | 専門用語 | 説明 |
|---|---|---|
| パートナーアプリ | Comet | AIモデル開発における実験管理、可視化を行うアプリケーション。 |
| パートナーアプリ | Deepchecks | AIモデルの品質とコンプライアンス評価を行うアプリケーション。 |
| パートナーアプリ | Fiddler | AIモデルの監視、解析、運用改善を行うアプリケーション。 |
| パートナーアプリ | Lakera | AIアプリケーションをセキュリティ攻撃やデータ漏洩から保護するアプリケーション。 |
| セキュリティ | データエクスフィルトレーション | データが意図せず外部に流出すること。 |
Notes
- 後で検証
- パートナー企業がどう機能を組み込めるのかの軸で調べる
054.Maximize accelerator utilization for model development with new Amazon SageMaker HyperPod task governance
-
機能概要:
Amazon SageMaker HyperPod タスクガバナンスは、生成AIモデルの開発において、GPUやTrainiumなどのアクセラレータを効率的に活用するための新機能です。タスクごとにリソース割り当てを動的かつ中央管理することで、計算リソースの無駄を減らし、AIプロジェクトの市場投入までの時間短縮とコスト管理を可能にします。 -
アップデート日付: 2024/12/04
-
特徴:
- リソース管理: GPUやvCPU、メモリの利用状況をリアルタイムでモニタリングし、プロジェクトごとの割り当てを最適化。
- 動的リソース割り当て: 低優先度のタスクを一時停止してチェックポイントを保存し、高優先度のタスクにリソースを即時割り当て。
- チーム間でのリソース共有: チーム内で未使用のリソースを他チームが借用可能。公平なリソース配分を設定できる。
- 監視と監査: Amazon CloudWatch Container Insights や Amazon Managed Grafana と統合し、リソース使用状況を可視化。
-
利用ケース:
- 生成AIモデルのトレーニング、ファインチューニング、推論の最適化。
- 限られた計算リソースを効率的に割り当て、複数チーム間でのリソース競争を軽減。
- タスクの優先順位に基づく動的なリソース管理とスケジューリング。
-
注意事項:
- クラスターは Amazon EKS に対応しており、SageMaker HyperPod クラスターの設定が必要。
- 東京リージョンでは現在未対応。
-
対応リージョン:
- 米国東部（バージニア北部）
- 米国東部（オハイオ）
- 米国西部（オレゴン）
- 東京リージョンでの対応は未発表。
-
簡単な利用手順の概要:
- 手順1: Amazon SageMaker コンソールで HyperPod クラスターを選択し、ダッシュボードからリソース利用状況を確認。
- 手順2: クラスターポリシーを設定し、タスクの優先順位やリソース配分を調整。
- 手順3: HyperPod CLI を使用してトレーニングジョブを開始し、リソース割り当てを確認。
カテゴリーと専門用語
| カテゴリー | 専門用語 | 簡潔な説明 |
|---|---|---|
| 計算リソース管理 | GPU | グラフィック処理装置で、AIトレーニングに使用される。 |
| Trainium | Amazonが開発したAI向け専用プロセッサ。 | |
| vCPU | 仮想中央処理装置。仮想化環境で使用されるCPUの単位。 | |
| タスク管理 | チェックポイント | タスクの中断時点を記録し、再開時にその時点から開始できる機能。 |
| 優先順位クラス | タスクに割り当てられた優先度を示す分類。 | |
| モニタリング | CloudWatch Container Insights | クラウド上でのリソース使用状況を可視化するサービス。 |
| Amazon Managed Grafana | ダッシュボード作成とモニタリングのための管理サービス。 |
055.Meet your training timelines and budgets with new Amazon SageMaker HyperPod flexible training plans
-
機能概要:
Amazon SageMaker HyperPodは、基盤モデル（FMs）のトレーニングを効率的かつ予算内で完了するための柔軟なトレーニングプランを提供します。分散トレーニングライブラリと高い回復性を備え、リソースの可用性に基づいて最適なトレーニング計画を立てることが可能です。 -
アップデート日付: 2024/12/04
-
特徴:
-
メインの機能特徴:
データサイエンティストがFMsのトレーニングを指定された期間内で完了できる最適なプランを作成し、トレーニングジョブを完全に管理します。 -
性能について:
従来のトレーニングと比較して、トレーニング時間を最大40%短縮可能です。 -
対応サービスやモデル:
対応するインスタンスタイプは、ml.p4d.48xlarge、ml.p5.48xlarge、ml.p5e.48xlarge、ml.p5en.48xlarge、およびml.trn2.48xlargeです。
Trn2とP5enインスタンスはUS East (Ohio)リージョンのみで利用可能です。 -
オプション機能:
トレーニングプランを複数のセグメントに分割し、リソースの可用性に応じた段階的な実行をサポートします。
-
メインの機能特徴:
-
利用ケース:
- 大規模な基盤モデルをトレーニングする際に、可用性の低い計算リソースを効率的に利用し、期間内にトレーニングを完了したい場合。
-
注意事項:
- トレーニングプランは作成後12時間以内に前払いする必要があります。
- 東京リージョン（ap-northeast-1）は現在未対応です。
-
対応リージョン:
US East (N. Virginia)、US East (Ohio)、US West (Oregon)。東京リージョンは未対応。 -
簡単な利用手順の概要:
- 手順1: SageMaker AIコンソールで「Training plans」を選択し、新しいトレーニングプランを作成します。
- 手順2: トレーニング期間、インスタンスタイプと数を選択し、最適なトレーニングプランを検索します。
- 手順3: 提案されたプランを確認し、トレーニング詳細を入力してプランを作成します。
- 手順4: 作成後、トレーニングが自動的にスケジュールされ、開始されます。
カテゴリーと専門用語一覧
| カテゴリー | 専門用語 | 説明 |
|---|---|---|
| トレーニング | Foundation Models (FMs) | 大規模な基盤となるAIモデル |
| リソース管理 | SageMaker HyperPod | 分散トレーニングのためのリソース管理機能 |
| サービス | Managed Spot Training | インスタンス中断に自動対応する機能 |
056.Getting started with Amazon Bedrock Agents custom orchestrator
- 機能概要: Amazon Bedrock Agents のカスタムオーケストレーター機能は、ユーザーがワークフローの各ステップでツールとの相互作用を詳細に制御できるようにします。これにより、特定の業務ニーズに最適なエージェントの動作を調整することができ、精度、適応性、効率を向上させます。カスタムオーケストレーターを利用することで、タスクの計画、完了、検証を管理することができます。
- アップデート日付: 2024/11/27
- 特徴:
- ユーザーが具体的なオーケストレーション戦略を定義し、エージェントの動作を最適化できます。
- ReAct（デフォルト）とReWoo（カスタムオーケストレーション）を比較し、速度とパフォーマンスのトレードオフに注目しています。ReWooはより迅速な応答時間を実現しますが、ReActは柔軟性と透明性が高いです。
- Amazon Bedrock Agentsは、ツールや知識ベースとの統合を通じてエージェントの効率的な動作を支援します。
- カスタムオーケストレーターを使用して、特定の業務ニーズに合わせたオーケストレーション戦略を構築できます。
- 利用ケース:
- 高速で複雑なタスク処理が求められる状況で、ReWoo戦略を使用して応答時間を短縮する場合。
- 柔軟性が求められる場面では、エージェントが逐次的にステップを評価しながら最適な行動を取るReAct戦略を使用する場合。
- 反復的なワークフローを自動化し、ツールや知識ベースと連携して効率的にタスクを完了する場合。
- 注意事項:
- ReWooは、ステップごとの評価を省略するため、高速な応答を実現する一方で、実装の難易度が高くなることがあります。
- カスタムオーケストレーターの作成には、Lambda関数を使用する必要があります。
- 対応リージョン: 東京リージョン対応あり
- 簡単な利用手順の概要
- 手順1: AWS Lambda関数を使用してカスタムオーケストレーターを作成。
- 手順2: Amazon Bedrock Agentsにおいて、カスタムオーケストレーターをエージェントに適用。
- 手順3: 作成したカスタムオーケストレーション戦略を他のエージェントに再利用。
- 専門用語:
| カテゴリー | 専門用語 | 説明 |
|---|---|---|
| オーケストレーション | カスタムオーケストレーター | エージェントのワークフローの管理をカスタマイズする機能。ユーザーはオーケストレーションの戦略を定義する。 |
| 戦略 | ReAct | エージェントが逐次的に判断し、動作を調整するオーケストレーション戦略。柔軟性が高い。 |
| 戦略 | ReWoo | エージェントが一度の計画で全てのタスクを実行する戦略。速度を優先するが、実装が複雑。 |
| API | Amazon Bedrock Converse API | Amazon Bedrock Agents と連携して、自然言語処理を管理するAPI。 |
Notes
- 後で検証
057.Easily deploy and manage hundreds of LoRA adapters with SageMaker efficient multi-adapter inference
- 機能概要: Amazon SageMaker の新しい効率的なマルチアダプター推論機能により、ユーザーは、SageMaker API を使用して数百のファインチューニングされた LoRA アダプターを簡単にデプロイおよび管理できるようになります。この機能では、アダプターを GPU メモリ、CPU メモリ、またはローカルディスクから動的に読み込むことができ、性能を損なうことなく、エンドポイントの再デプロイなしで個別のアダプターの追加、削除、更新を実行できます。
- アップデート日付: 2024/11/29
- 特徴:
- LoRA アダプターを効率的にデプロイおよび管理でき、複数のアダプターを共通のベースモデルで使用できます。
- 従来の手法に比べて、より低コストで迅速にファインチューニングができ、カスタマイズされた AI を効率的に提供可能です。
- 対応するサービス: Amazon SageMaker。
- オプション機能: 個別のアダプターの動的な管理、パフォーマンスの評価、アダプターの迅速な更新。
- 利用ケース:
- SaaS やマーケティング企業が顧客ごとの画像や文書に基づくパーソナライズを行う。
- 医療や金融業界の企業が一般的なベースモデルを再利用し、特定のタスクに適応したアダプターを効率的に管理する。
- AI モデルのカスタマイズを大規模で運用する企業。
- 注意事項:
- 利用には、SageMaker のインスタンス（例: ml.g5.12xlarge）の使用が必要で、事前にサービスクォータの増加が必要な場合がある。
- 対応リージョン: 東京リージョン対応あり
- 簡単な利用手順の概要
- 手順1: SageMaker Studio にてドメインを作成し、推論コンポーネントを設定します。
- 手順2: 基本モデルと複数の LoRA アダプターを同じエンドポイントにデプロイします。
- 手順3: 推論時にアダプターを動的に切り替え、特定のタスクに適した結果を得ます。
| カテゴリー | 専門用語 | 説明 |
|---|---|---|
| モデル技術 | LoRA (Low-Rank Adaptation) | モデルの一部のパラメータのみをファインチューニングして効率的にカスタマイズする手法。 |
| サービス | Amazon SageMaker | AWS のマネージドサービスで、機械学習モデルのデプロイと管理を簡単に行える。 |
| コンピューティング | ml.g5.12xlarge | Amazon SageMaker における推論用インスタンスの一つ。高性能な GPU を搭載。 |
| 手法 | パラメータ効率的ファインチューニング (PEFT) | 大規模モデルのパラメータを全て更新するのではなく、少部分のみを更新することで効率的にカスタマイズ。 |
Notes
- 後で検証
- これまでも LMI で提供されていたが何がアップデートされた？
058.Cohere Rerank 3.5 is now available in Amazon Bedrock through Rerank API
- 機能概要: Cohereの高度な再ランクモデル「Rerank 3.5」がAmazon Bedrockを通じて利用可能になりました。このモデルは、AWSユーザーが検索の関連性とコンテンツのランキング機能を大幅に向上させることを可能にし、情報検索システムを強化します。Rerank 3.5は、従来のベクトル検索を超えて、動的なクエリ時分析に基づく精度の高い文書関連性評価を提供します。
- アップデート日付: 2024/12/01
- 特徴:
- CohereのRerank 3.5は、クエリと関連する文書のリストを入力として受け取り、意味的な類似度に基づいて文書を並べ替えます。
- 性能について、従来のキーワード一致やベクトル検索と比較して、検索結果の順序を最適化し、ユーザーの意図やビジネスルールを反映させる高度な再ランク技術を提供します。
- Amazon BedrockおよびAmazon Bedrock Knowledge Basesを通じて利用でき、簡単に既存システムに統合できます。
- オプション機能として、さまざまな業界向けに多言語対応があり、特にグローバルな企業で利用が見込まれます。
- 利用ケース:
- 企業の検索システムの精度向上や、電子商取引サイトでの製品発見の最適化など、さまざまな情報検索のシナリオで活用できます。
- 注意事項:
- Amazon BedrockのRerank APIは、Amazon Bedrock Knowledge Basesを利用せずとも機能する柔軟性があります。
- 対応リージョン: 東京リージョン（ap-northeast-1）に対応
- 簡単な利用手順の概要
- 手順1: Amazon Bedrockコンソールにアクセスし、Rerank APIを有効化
- 手順2: 必要なライブラリをインポートし、Boto3クライアントを初期化
- 手順3: rerank_text関数を使って、クエリに関連する文書の順位付けを実施
- 専門用語:
| カテゴリー | 専門用語 | 説明 |
|---|---|---|
| モデル | Rerank 3.5 | Cohereが提供する再ランク機能を持つモデル。検索結果の関連性を高める。 |
| 機能 | Rerank API | 文書を意味的に並べ替えるためのAPI。クエリとドキュメントの関連性を分析。 |
Notes
059.Now available: Storage optimized Amazon EC2 I7ie instances
- 機能概要: 新しいストレージ最適化されたAmazon EC2 I7ieインスタンスは、最大120TBの低遅延NVMeストレージと、3.2GHzのオールコアターボ周波数を持つ第5世代Intel Xeon Scalableプロセッサを搭載しています。これらのインスタンスは、リアルタイムストレージパフォーマンスやI/Oレイテンシ、計算パフォーマンスなどの向上を実現しています。
- アップデート日付: 2024/12/01
- 特徴:
- 最大120TBのNVMeストレージ、最大192vCPUs、最大1.5TiBのメモリをサポート。
- 前世代のストレージ最適化インスタンスと比較して、最大65%のストレージパフォーマンス向上、50%低いI/Oレイテンシ、最大40%の計算パフォーマンス向上。
- NoSQLデータベース、分散ファイルシステム、データウェアハウス、分析などのI/O集中的なワークロードに最適。
- インスタンスサイズは9種類で、最大100Gbpsのネットワーク帯域幅と高いEBS帯域幅をサポート。
- 利用ケース:
- NoSQLデータベースや分散ファイルシステム、検索エンジン、データウェアハウス、分析など、ランダムIOPSを多く要求するI/O集中的なワークロードに適しています。
- 注意事項:
- 対応リージョン: 東京リージョンは未対応、US East (N. Virginia) とUS East (Ohio) に対応、US West (Oregon) も近日中に対応予定。
- インスタンスはOn-Demand、Spot、Savings Plan、Dedicated Instance、Dedicated Host形式で提供されます。
- 対応リージョン: 東京リージョンは未対応。
- 簡単な利用手順の概要:
- 手順1: EC2コンソールまたはCLIを使用して、I7ieインスタンスを選択。
- 手順2: インスタンスサイズ、ストレージタイプ、オプションを選択し、起動。
専門用語
| カテゴリー | 専門用語 | 説明 |
|---|---|---|
| プロセッサ | Intel Xeon Scalable | 第5世代のインテル製プロセッサで、3.2GHzのオールコアターボ周波数を提供。 |
| ストレージ | NVMe | 高速なデータ転送を可能にするストレージインターフェース。 |
| 帯域幅 | EBS帯域幅 | Elastic Block Store（EBS）を使用したデータ転送の速度。 |
| ネットワーク | Elastic Network Adapter (ENA) | 高速なネットワーク通信をサポートするAWSのインターフェース。 |
060.Introducing storage optimized Amazon EC2 I8g instances powered by AWS Graviton4 processors and 3rd gen AWS Nitro SSDs
- 機能概要: EC2 I8g インスタンスは、AWS Graviton4 プロセッサと第3世代 AWS Nitro SSD を搭載したストレージ最適化インスタンスで、リアルタイムストレージパフォーマンスが最も優れた EC2 インスタンスです。これにより、より高いストレージ性能、低遅延、低レイテンシーの変動が提供され、特に I/O 集約型のワークロードに適しています。
- アップデート日付: 2024/12/01
- 特徴:
- AWS Graviton4 プロセッサにより、最大60%のコンピューティング性能向上と2倍のキャッシュを提供。
- 第3世代 AWS Nitro SSD により、ストレージ性能が向上し、I4g インスタンスと比較して、22.5 TB のストレージあたり65%のリアルタイム性能向上、60% の遅延変動の低減が実現。
- 最大 96 vCPUs、768 GiB のメモリ、22.5 TB のストレージを提供することで、I4g インスタンスと比較して、より多くの計算およびストレージの選択肢が得られる。
- EC2 I8g インスタンスは、ストレージ集約型ワークロード向けに特化しており、MySQL、PostgreSQL、MongoDB などのリアルタイムデータベースや、Apache Spark などのリアルタイム分析に適している。
- 利用ケース:
- 低遅延でデータにアクセスする必要があるトランザクションデータベース（MySQL、PostgreSQL）、NoSQL データベース（Aerospike、Apache Druid、MongoDB）、およびリアルタイム分析（Apache Spark）に利用。
- 注意事項:
- サポートされているオペレーティングシステムは、Amazon Linux 2、CentOS Stream 8 以降、Ubuntu 18.04 以降、Red Hat Enterprise 8.2 以降などが含まれている。
- ネットワークバーストをサポートし、ストレージデータのネットワーク越しのデータ水和、バックアップ、スナップショットなどが可能。
- 対応リージョン: 現在、US East (N. Virginia) および US West (Oregon) リージョンで利用可能。東京リージョンには未対応。
- 簡単な利用手順の概要:
- 手順1: Amazon EC2 コンソールにアクセスし、EC2 I8g インスタンスを選択。
- 手順2: 必要なインスタンスタイプとストレージオプションを選択。
- 手順3: インスタンスを起動し、対象のワークロードを実行。
| カテゴリー | 専門用語 | 簡潔な説明 |
|---|---|---|
| プロセッサ | AWS Graviton4 | ARM アーキテクチャに基づいた、AWS の最もパワフルでエネルギー効率の良いプロセッサ。 |
| ストレージ | AWS Nitro SSD | AWS によってカスタム構築された SSD。高パフォーマンスと低遅延を提供。 |
| インスタンスタイプ | EC2 I8g | ストレージ最適化された EC2 インスタンスタイプ。リアルタイムストレージ性能が向上。 |
| ネットワーキング | バーストネットワーク | ストレージ集約型ワークロードでのネットワーク帯域幅を一時的に増加させる機能。 |
061.Amazon MemoryDB Multi-Region is now generally available
-
機能概要: Amazon MemoryDB Multi-Regionは、複数のAWSリージョンにまたがるアクティブ-アクティブ型のデータベースを提供する完全に管理されたサービスです。この機能により、99.999%の可用性、マイクロ秒単位の読み取りおよびミリ秒単位の書き込み遅延を実現し、複数のAWSリージョン間でデータを効率的に同期できます。これにより、災害復旧や高可用性を確保しながら、リージョン間のデータ複製を簡素化します。
-
アップデート日付: 2024/12/01
-
特徴:
- 高可用性と災害復旧を提供し、99.999%の可用性を達成。
- マイクロ秒単位の読み取りとミリ秒単位の書き込み遅延を実現。
- AWSリージョン間でデータを非同期でレプリケーション、データ伝播は1秒未満で完了。
- データの地理的要件を満たすために、データの保持リージョンを選択可能。
-
利用ケース:
- 高可用性を必要とするアプリケーション、特にグローバルに展開される分散型アプリケーション。
- 地理的要件に基づいてデータをリージョンごとに保持する必要がある場合。
- リージョン間でシームレスなデータレプリケーションと迅速な災害復旧を実現したいシステム。
-
注意事項:
- 利用可能なリージョンに制限があり、一部の地域ではサポートされていない。
- 定期的なデータ同期のため、データの複製にかかる遅延を考慮する必要がある。
-
対応リージョン: 東京リージョン（東京リージョンを含む複数のアジア太平洋地域で対応あり）
-
簡単な利用手順の概要:
- 手順1: AWS Management ConsoleからMemoryDBを選択し、「Create cluster」を選択。
- 手順2: 「Multi-Region cluster」を選び、必要な設定を入力してクラスターを作成。
- 手順3: 必要に応じて他のリージョンで追加のクラスターを作成。
- 手順4: AWS CLIまたはコンソールで設定したクラスターのステータスを確認。
-
専門用語:
| カテゴリー | 専門用語 | 説明 |
|---|---|---|
| サービス | Amazon MemoryDB | AWSが提供する、インメモリ型のデータベースサービス。高可用性と低レイテンシを提供。 |
| レプリケーション | アクティブ-アクティブ型 | 全てのリージョンが読み書き可能で、データがリアルタイムで同期される仕組み。 |
062.Amazon SageMaker Lakehouse integrated access controls now available in Amazon Athena federated queries
- 機能概要: Amazon SageMaker Lakehouseは、データレイクとデータウェアハウスを統合し、データソースに対するカタログ機能とアクセス管理機能を提供します。これにより、複数のデータソースを一元的に管理し、データの転送や重複を避けながら、効率的な分析とセキュリティ管理が可能になります。
- アップデート日付: 2024/12/03
- 特徴:
- SageMaker LakehouseとAmazon Athenaが連携し、データソースに対する一貫したアクセス制御とカタログ機能を提供。
- Athenaでのクエリ実行時に、データの場所を変更せずにアクセス管理を適用。
- サポート対象サービスには、Amazon S3、Amazon Redshift、Amazon Aurora、Amazon DynamoDB、Google BigQueryなどが含まれます。
- Fine-Grained Access Control (FGAC)により、データレイクやOLTPデータソースへのアクセス制御を細かく設定可能。
- 利用ケース:
- データ分析者やデータサイエンティストが複数のデータソースを統一的に利用し、アクセス権に基づいて必要なデータのみを分析するケース。
- セキュリティ要求が高い環境で、細かなアクセス権限設定を適用しつつ、効率的なデータ分析を行いたい場合。
- 注意事項:
- 本機能は、Athenaを使用したクエリ実行時に限定されます。
- DynamoDBなど一部のデータソースは、現在プレビュー版として提供されています。
- 対応リージョン: 東京リージョン（Asia Pacific (Tokyo)）を含む複数のAWSリージョンで利用可能。
- 簡単な利用手順の概要:
- 手順1: Amazon SageMaker Unified Studioにアクセスし、プロジェクトを作成または選択します。
- 手順2: データソース（例: DynamoDB）を選択し、SageMaker Lakehouseでカタログを作成します。
- 手順3: Athenaでクエリを実行し、設定したアクセス制御が適用されることを確認します。
- 専門用語:
| カテゴリー | 専門用語 | 説明 |
|---|---|---|
| サービス | Amazon SageMaker Lakehouse | データレイクとデータウェアハウスを統合し、AI/MLアプリケーションを構築するためのプラットフォーム。 |
| サービス | AWS Glue Data Catalog | データソースのメタデータを一元管理するためのAWSサービス。 |
| セキュリティ | Fine-Grained Access Control (FGAC) | データに対する細かいアクセス権限を定義し、適用するための機能。 |
| データベース | OLTP (Online Transaction Processing) | トランザクション処理を行うためのデータベースシステム。 |
063.Simplify analytics and AI/ML with new Amazon SageMaker Lakehouse
- 機能概要: Amazon SageMaker Lakehouseは、Amazon S3データレイクとAmazon Redshiftデータウェアハウスのデータを統一し、単一のデータコピーで分析やAI/MLアプリケーションを構築するための機能です。この機能は、AWSの機械学習と分析能力を統合し、分析とAIのためのシームレスな体験を提供します。
- アップデート日付: 2024/12/03
- 特徴:
- SageMaker Lakehouseは、Amazon S3とRedshift間でデータを統一し、Apache Iceberg互換のエンジンでデータをインプレースでクエリする柔軟性を提供します。
- 他の分析ツールやAI/MLエンジンにも対応しており、異なるソースからのデータを一元的に管理できます。
- AWS Glue、Amazon Athena、Amazon SageMaker AIなどのツールを使用して、データのクエリやモデル開発をサポートします。
- SQLによる分析やJupyter Labノートブックを利用したデータ操作が可能です。
- 利用ケース:
- 複数のデータソースからのデータを統合し、分析やAI/MLモデルを開発する場合。
- Amazon RedshiftやAmazon S3を使用する既存のデータ環境を活用し、データシェアリングを簡素化する場合。
- データレイクとデータウェアハウス間でのデータ統合をスムーズに行いたい場合。
- 注意事項:
- SageMaker Lakehouseは、データを統一するためにいくつかの設定が必要であり、ユーザーの環境に合わせたカスタマイズが求められます。
- Jupyter Labノートブックの使用には「データ分析およびAI/MLモデル開発」プロファイルを選択する必要があります。
- 対応リージョン: 東京リージョン (Asia Pacific Tokyo) に対応しています。
- 簡単な利用手順の概要:
- 手順1: Amazon SageMaker Unified Studioにアクセスし、新しいプロジェクトを作成します。
- 手順2: プロジェクトのプロファイルを選択し、必要なリソースを設定します。
- 手順3: データソースを追加し、クエリエディタでデータにアクセスします。
- 手順4: 必要に応じてAthenaやRedshiftを使ってクエリを実行し、データを分析します。
| カテゴリー | 専門用語 | 説明 |
|---|---|---|
| 機能 | Apache Iceberg | 分散データ処理のためのオープンソースのファイル形式で、データウェアハウスやデータレイクに対応。 |
Notes
- Amazon SageMaker Lakehouse and Amazon Redshift supports zero-ETL integrations from applications 類似のものが多すぎるので割愛
064.New Amazon DynamoDB zero-ETL integration with Amazon SageMaker Lakehouse
- 機能概要: Amazon DynamoDBとAmazon SageMaker LakehouseのゼロETL統合により、DynamoDBのデータを分析や機械学習ワークロードで活用するためのパイプライン構築の手間を省き、数クリックでデータの抽出・活用が可能になります。この統合により、DynamoDBテーブルのキャパシティを消費せずに、データの動きを最小限に抑えながら簡単に分析やMLを実行できます。
- アップデート日付: 2024/12/03
- 特徴:
- DynamoDBのデータを、Amazon SageMaker Lakehouseを使用してAmazon S3やRedshiftで一元化し、分析・MLワークロードを簡単に実行できるようにします。
- ゼロETL統合により、従来のETLパイプライン構築の煩雑さを排除し、データの移動にかかる運用負担を軽減します。
- 対応するサービス: Amazon DynamoDB, Amazon SageMaker Lakehouse, AWS Glue, Amazon S3, Apache Iceberg。
- オプション機能: AWS KMSやカスタム暗号化キーを利用したデータの暗号化。
- 利用ケース:
- DynamoDBに保存されているデータを、追加のインフラ設定なしでAmazon SageMaker Lakehouseに統合し、データ分析や機械学習のワークロードを簡単に実行したい場合。
- ETLパイプラインの管理を減らし、より効率的にデータを抽出・活用したい企業。
- 注意事項:
- ゼロETL統合の実行に必要なIAMロールやリソースポリシー設定に関する事前準備が必要です。
- 統合後のデータ処理には、DynamoDBテーブルのサイズに依存した時間がかかる場合があります。
- 対応リージョン: 東京リージョン対応あり (Asia Pacific (Tokyo))。
- 簡単な利用手順の概要:
- 手順1: AWS Glueコンソールで「Zero-ETL integrations」を選択し、DynamoDBをデータソースとして設定。
- 手順2: S3バケットをターゲットとして指定し、必要なIAMロールと暗号化設定を行う。
- 手順3: 設定内容を確認し、統合を作成。
- 専門用語:
| カテゴリ | 専門用語 | 説明 |
|---|---|---|
| データ統合 | Zero-ETL | ETL (Extract, Transform, Load) の手順を省略するデータ統合手法。これにより、データの移動や変換を最小化。 |
| データ解析 | SageMaker Lakehouse | データレイクとデータウェアハウスを統合した分析・MLプラットフォーム。 |
| データストレージ | Apache Iceberg | 分散データ処理に対応したオープンソースのデータフォーマット。 |
065.Discover, govern, and collaborate on data and AI securely with Amazon SageMaker Data and AI Governance
- 機能概要: Amazon SageMaker Data and AI Governanceは、データおよびAI資産の管理を簡素化するための機能を提供し、データチームがデータやAIモデルを企業全体で効果的に発見、アクセス、協力できるように支援します。このプラットフォームは、データのカタログ化、発見、ガバナンスを統一された体験で提供し、安全にデータを利用できるようにします。
- アップデート日付: 2024/12/03
-
特徴:
- Amazon SageMaker Unified Studioを通じて、データとAI資産の管理が可能。
- 機械学習を活用して、データ資産や列名を自動的にビジネス名に変換する機能。
- SageMaker Catalogは、Amazon DataZoneに基づいており、AWSの既存のワークフローとツールとの統合がシームレス。
- データとAI資産のアクセス制御には、ビジネス目的に基づいたプロジェクトを使用して、AIモデルやデータの安全な共有が可能。
- AIガードレール機能を使って、アプリケーションにおけるAIの安全性を強化。
- APIサポートを提供し、既存プロセスとの統合が容易に。
-
利用ケース:
- データサイエンティストやエンジニアが、データの発見、アクセス、ガバナンスを簡素化し、AIモデルのガードレールを使用して、安全に利用するケース。
- ビジネスユースケースに基づいてプロジェクトを作成し、チームでの共同作業をサポートするケース。
-
注意事項:
- サービスはプレビュー段階で提供されており、一部機能は進行中である可能性がある。
- 対応リージョン: 東京リージョン対応
-
簡単な利用手順の概要:
- 手順1: Amazon SageMaker Unified Studioにログインし、プロジェクトを作成する。
- 手順2: データカタログを探索し、利用したいデータ資産を見つける。
- 手順3: 必要に応じてデータへのアクセスリクエストを送信し、承認を得る。
専門用語
| カテゴリー | 専門用語 | 説明 |
|---|---|---|
| データ管理 | Amazon DataZone | データガバナンスとカタログ機能を提供するAWSのプラットフォーム。 |
| データカタログ | SageMaker Catalog | データとAI資産のカタログ管理機能を提供するSageMaker内のリポジトリ。 |
066.Introducing the next generation of Amazon SageMaker: The center for all your data, analytics, and AI
- 機能概要: Amazon SageMakerの次世代バージョンが発表され、データ探索、準備、統合、大規模データ処理、SQL分析、機械学習（ML）モデル開発とトレーニング、生成的AIアプリケーション開発のための統合プラットフォームを提供します。これには、既存のAmazon SageMaker AIも統合されています。
- アップデート日付: 2024/12/03
- 特徴:
- 新しいAmazon SageMakerは、データとAI開発のための統合環境「SageMaker Unified Studio」を提供します。
- 複数のAWSツール（Amazon Athena、Amazon EMR、AWS Glue、Amazon Redshiftなど）と連携し、シームレスなデータ処理が可能です。
- Amazon Bedrock IDEを使用して、生成的AIアプリケーションの開発が可能です。
- 「Amazon Q」を活用し、開発フローをAIで支援します。
- 利用ケース:
- データ分析、モデル開発、生成的AIアプリケーションの構築など、広範なAI/MLワークフローに対応。
- チームでの共同作業やデータ共有を安全に行い、モデルのトレーニング、データ準備、予測などを統一された環境で管理。
- 注意事項:
- Amazon SageMaker Unified Studioは現在プレビュー版として利用可能で、正式リリース前のバージョンです。
- 既存のAmazon Bedrock Studioは2025年2月28日まで利用可能ですが、新しいワークスペースの作成はできません。
- 対応リージョン: 東京リージョン（アジアパシフィック（東京））に対応
- 簡単な利用手順の概要
- 手順1: SageMaker Unified StudioのドメインURLでサインイン
- 手順2: プロジェクトを作成し、データソースを追加
- 手順3: SQLクエリエディタやビジュアルETLツールを使用してデータを処理
- 手順4: 生成的AIアプリケーションを作成し、テスト・最適化
専門用語:
| カテゴリー | 専門用語 | 簡潔な説明 |
|---|---|---|
| データレイク | Amazon SageMaker Lakehouse | Amazon S3データレイクとRedshiftデータウェアハウス、サードパーティのデータソースを統合して利用できる。 |
Notes
- 関連ブログ Build generative AI applications quickly with Amazon Bedrock IDE in Amazon SageMaker Unified Studio
067.Announcing the general availability of data lineage in the next generation of Amazon SageMaker and Amazon DataZone
-
機能概要:
Amazon DataZoneと次世代Amazon SageMakerにおいて、データの出所を可視化するデータリネージュ機能が正式に一般提供開始されました。この機能は、AWS GlueやAmazon Redshiftからデータ変換の履歴を自動的に収集し、データのトレーサビリティを強化します。これにより、ビジネスアナリストやデータエンジニア、データガバナンス担当者がデータの影響範囲を即座に把握し、信頼性の高いデータ駆動型の意思決定を行うことが可能になります。 -
アップデート日付: 2024/12/03
-
特徴:
- データの自動リネージュ収集をAWS GlueおよびAmazon Redshiftでサポートし、手動作業を削減。
- データ変換履歴、スナップショット、カラムマッピングを可視化し、影響分析やトラブルシューティングを容易に。
- OpenLineage互換のイベントを使用して、カスタムパイプラインからリネージュ情報をプログラム的に登録可能。
- Amazon SageMaker Unified Studioのカタログ機能としてリネージュが統合され、データユーザーは同一プラットフォーム内でリネージュ情報を管理可能。
-
利用ケース:
- ビジネスアナリストがデータの出所を確認し、データの信頼性を担保するために利用。
- ダッシュボードの異常な数値変動の原因を調査する際、データエンジニアが影響分析を行うために活用。
- 監査人からのデータの移動履歴や変換履歴に関する質問に対して、データスチュワードが迅速に回答するために使用。
-
注意事項:
- AWS GlueやAmazon Redshiftからのリネージュイベント収集はオプトイン設定が必要。
- リネージュ情報の収集には、ストレージとAPIリクエストに基づくコストが発生。詳細はAmazon DataZoneの料金ページを参照。
- 自動収集されるイベントは、テーブル作成、スキーマ変更、変換クエリなどのデータ変換操作を含む。
-
対応リージョン:
東京リージョンを含む、Amazon DataZoneが利用可能な全てのリージョンで対応。 -
簡単な利用手順の概要:
- AWS Glue Data CatalogやAmazon Redshiftのデータソース実行ジョブをAmazon DataZoneに設定し、定期的にメタデータを収集。
- カスタムリネージュ情報をAPI経由でプログラム的に登録。
- Amazon DataZoneポータル内でリネージュタブを利用して、データの出所や変換履歴を確認。
-
専門用語:
| カテゴリー | 専門用語 | 説明 |
|---|---|---|
| APIイベント | OpenLineage | データリネージュ情報を標準化された形式で提供するイベントプロトコル。 |
Notes
- Next Genration Next Genration SageMaker が来ることはあるのか・・
- もはや次世代過ぎてついていけてないんだけど個人的には Notebook の AL2023 対応ほしい、Studio Notebook だと DinD だから開発環境としては使いづらいし、正直 Notebook が一番使いやすい・・
068.New capabilities from Amazon Q Business enable ISVs to enhance generative AI experiences
-
機能概要:
Amazon Q Businessが新たに提供する機能により、ISV (Independent Software Vendors) は、複数のSaaSアプリケーションからデータを一元的に取得し、企業の知識とユーザーのコンテキストを活用したAI機能を統合できます。これにより、より個別化されたユーザー体験が可能になり、業務効率の向上とユーザーエンゲージメントの強化が期待されます。 -
アップデート日付: 2024/12/03
-
特徴:
- Amazon Qインデックスによるデータ統合: 複数の外部データソースを一つのAPIを通じて取得し、ISVの既存AI機能を強化可能。
- データ所有権とアクセス制御: ユーザーはインデックスに対するデータ所有権を保持し、アクセス権を管理可能。
- エンベッド型AIアシスタント: Amazon Q Embeddedにより、ISVはユーザーインターフェースにAIアシスタントを埋め込むことができ、カスタマイズされた外観を設定可能。
-
API経由でのデータ検索機能:
SearchRelevantContentAPIを活用し、関連データを効率的に検索。 - カスタマイズ可能なUI: ブランドに合わせたUIの外観、アシスタント名、ウェルカムメッセージなどを設定可能。
-
利用ケース:
- SaaSアプリケーションにおけるユーザーの業務支援や自動化。
- 複数の企業アプリケーション間で一貫性のある情報提供。
- 企業のナレッジデータを活用したカスタマーサポートや業務効率化。
-
注意事項:
- データアクセスにはユーザーの明示的な許可が必要。
- 対応リージョンに制限があり、東京リージョンでのサポートは現在未対応。
-
対応リージョン:
- 対応済み: 米国東部（N.バージニア）、米国西部（オレゴン）。
- 東京リージョン: 未対応。今後の対応予定。
-
簡単な利用手順の概要:
- 手順1: ISVがAmazon Qインデックスにアプリケーションを登録し、ユーザーにデータソース接続の認証情報を提供。
- 手順2: AWSマネジメントコンソールでユーザーがインデックスを作成し、ISVにアクセス権を付与。
-
手順3: ISVは
SearchRelevantContentAPIを使用してデータを取得し、機能を強化。 - 手順4: Amazon Q EmbeddedでUIをカスタマイズし、ブランドに最適化したアシスタントを提供。
-
専門用語:
| カテゴリー | 専門用語 | 説明 |
|---|---|---|
| データ管理 | Amazon Q インデックス | 複数のSaaSアプリケーションからデータを一元的に管理・取得するための仕組み。 |
| API | SearchRelevantContent | インデックス内の関連コンテンツを検索するためのAPI。 |
| UIカスタマイズ | Amazon Q Embedded | アプリケーションにAIアシスタントを埋め込む機能。外観や機能をカスタマイズ可能。 |
| データアクセス | Data Accessors | ISVがデータへのアクセス権を取得する際に必要な認証情報の設定。 |
Notes
- Q 関連大杉、、力入れとる
069.Investigate and remediate operational issues with Amazon Q Developer (in preview)
-
機能概要:
Amazon Q Developerの新しい機能がプレビューとして公開され、運用上の問題を自動的に調査し、診断から根本原因分析、そして修正までをサポートします。AWSリソース間の関係を自動的に検出し、アプリケーショントポロジーを作成することで、迅速な障害復旧が可能になります。 -
アップデート日付: 2024/12/03
-
特徴:
- 運用調査と修復のガイド機能: CloudWatchやAWS Systems Managerと統合し、運用問題を調査し、修復手順を自動的に提示。
- 仮説生成と提案機能: DynamoDB、Lambda、ECSなど、AWSのさまざまなサービスから収集したメトリクスを基に、問題に関する仮説を生成。ユーザーは仮説を受け入れて調査を進めることが可能。
- 自動修復の推奨: AWS Systems Managerのオートメーションランブックを提案し、対応する問題に対する修正手順を実行可能。
- ドキュメント参照: AWS re:Post記事や公式ドキュメントへのリンクを提供し、問題解決を支援。
-
利用ケース:
- 監視対象のアプリケーションでCloudWatchアラームが発生した場合に、根本原因を特定して迅速に問題を修正するための運用支援ツールとして活用。
- 複雑なマイクロサービス環境における問題調査やリソース間の依存関係の把握。
- 業務時間外や緊急時における運用対応を自動化して、オペレーションの効率を向上。
-
注意事項:
- 現在はプレビュー版であり、正式リリース前に仕様変更される可能性がある。
- サポート対象リージョンは限定されており、現時点では US East (N. Virginia) のみ対応。
-
対応リージョン:
- 東京リージョンは現時点で未対応。
-
簡単な利用手順の概要:
- 手順1: CloudWatchアラームを設定し、対象アプリケーションのメトリクスを監視する。
- 手順2: アラーム通知を受信したら、CloudWatchから Investigate を選択し、新規調査を開始する。
- 手順3: Amazon Q Developerが提示する仮説と関連メトリクスを確認し、適切な仮説を選択。
- 手順4: 提案されたランブックを確認し、必要なパラメータを入力して実行する。
- 手順5: 実行結果を確認し、調査の進行状況を Feed で管理する。
カテゴリーと専門用語
| カテゴリー | 専門用語 | 簡潔な説明 |
|---|---|---|
| トポロジーマップ | Topology Map | アプリケーション内のリソース間の関係を可視化したマップ。 |
Notes
- めっちゃよさそう、対応リージョンでの調査しかできないのか？
070.Introducing Amazon Nova foundation models: Frontier intelligence and industry leading price performance
-
機能概要:
Amazon Novaは、Amazon Bedrock上で提供される次世代のファウンデーションモデルで、生成AIタスクにおけるコストとレイテンシーを削減しつつ、最先端の知能を活用することができます。企業の多様なワークロードに対応し、複雑なドキュメントや動画の解析、AIエージェントの構築、魅力的なコンテンツの生成が可能です。 -
アップデート日付: 2024/12/03
-
特徴:
-
メインの機能特徴:
Amazon Novaは、テキスト、画像、動画を入力として処理し、テキストやマルチモーダル出力を生成できる複数のモデルを提供します。 -
性能:
従来のモデルと比較して、低レイテンシー、高精度、そして高コストパフォーマンスを実現しています。特に、300Kトークンまでの長文処理や、最大30分の動画解析が可能です。 -
サポートモデル:
- Amazon Nova Micro: テキストのみを対象とした高速・低コストモデル。
- Amazon Nova Lite: テキスト、画像、動画の入力を処理する低コスト・マルチモーダルモデル。
- Amazon Nova Pro: 高精度かつマルチモーダル処理に優れたモデル。
- Amazon Nova Premier: 2025年初頭にリリース予定の高度なマルチモーダルモデル。
-
オプション機能:
各モデルはカスタマイズが可能で、業界特化型の用語やドキュメント構造に適応するように調整できます。また、生成された画像や動画にはウォーターマークが自動的に付加されます。
-
メインの機能特徴:
-
利用ケース:
- 長文ドキュメントの要約、翻訳、分類。
- 画像・動画からの情報抽出や可視化。
- マーケティングや広告向けの動画コンテンツ生成。
- APIやツールを用いたエージェントによる複雑なワークフローの自動化。
-
注意事項:
- 現時点では動画内のオーディオ解析には対応していません。
- すべての生成コンテンツには安全管理と責任あるAI利用を促進するための制御機能が組み込まれています。
-
対応リージョン:
- 東京リージョンでの対応は現在未確認ですが、US East (N. Virginia)、US West (Oregon)、US East (Ohio)で利用可能です。
-
簡単な利用手順の概要:
- Amazon BedrockコンソールでAmazon Novaモデルへのアクセスをリクエストします。
- Playgroundでモデルを選択し、テキストやファイルを入力して応答を確認します。
- SDKやAWS CLIを使用して、API経由でモデルに入力を送信し、出力を取得します。
-
専門用語:
- ファウンデーションモデル (Foundation Model): 複数のタスクに対応可能な大規模AIモデル。
- マルチモーダル (Multimodal): テキスト、画像、動画など複数のデータ形式を統合して処理する技術。
- モデルディスティレーション (Model Distillation): 大規模モデルから小規模モデルに知識を転移して効率を最適化する技術。
Discussion