Zenn
🐈

re:Invent 2024 の個人的サービスアップデートまとめ

2024/12/07に公開
AI
AWS
機械学習
reinvent2024
tech

AI/MLサービス/機能多い、、、

今年は全部で116個のサービス/機能アップデート、新規サービスの追加があったらしいです。（しむすたさん本当に感謝）
https://x.com/shimagaji/status/1864770996684886101

いやー多いですね、
その中でもBedrock/SageMaker/Q関連のアップデートが本当に多くて50個くらいありました。約半分。。。（数え間違いかも）
私はAI/MLが得意ではないので同じような名前が羅列されてしまって全然わからなかった部分も多いのでちょっと調べながらブログにしておこうと思います。その日のうちにアウトプットしろという素敵ブログがあるので参考にします、時間は守れてないけど

[社内勉強会資料] 失敗談から学ぶ！ エンジニア向けre:Invent攻略アンチパターン集 #AWSreInvent

最初に

最速まとめをしてくれているしむすたさん、ブログをいつも書いてくれてるクラメソの方々本当にありがとうございます。とても参考にさせてもらってます。ここでもめっちゃ引用させてもらいます。

得意じゃないので間違ったことや認識違うことあったらご指摘ください。
プレビューの有無は大変だったので記載なしです

全体的なさらっと大きい反響だったところまとめ

Amazon Novaの提供開始 *マルチモーダル・画像/動画生成モデル
Bedrockの機能強化 *マルチエージェント・LLM-as-a-judge・蒸留・プロンプトキャッシュ・レイテンシー最適化推論
Amazon Q Developerで.NETやVMWareからのマイグレーションサポート
次世代SageMakerの発表

Amazon Q xx

簡単なまとめ

Amazon Q in QuickSight

  • シナリオ分析機能追加、高度な分析で生成AIのガイドが可能になった

Amazon Q Business

  • 非構造化データが使えるようになった
  • ビジネスアプリ向けの50以上のプラグインの追加(Jiraなどのチケット管理サービスでチケット管理が可能に)
  • QuickSightとの統合、構造化データソースからの回答が可能に
  • ISV(ZoomやMiro)との統合用Q Indexの追加でより組織向けの応答が可能に
  • データソースにて特定ファイル内、画像などの視覚的要素を参照可能に

Amazon Q Developer

  • AWS環境全体の運用調査機能のリリースでCloudTrailログなどから問題が発生した際の原因調査が可能に
  • コードレビュー機能の実装
  • ソースコードからデータフロー図、README、自動ユニットテストの生成が可能に(これマジで助かる...既存のREADMEも更新可能)
  • Windows .NET→クロスプラットフォーム対応 .NET/メインフレームワーク(COBOL→Java)/VMWareワークロード→EC2インスタンスへのマイグレーションをサポート

Other

  • GitLab Enterprise DevSecOpsへのAmazon Qの搭載

アップデートリスト

  1. Announcing scenarios analysis capability of Amazon Q in QuickSight (preview)
  2. Amazon Q in QuickSight unifies insights from structured and unstructured data
  3. Amazon Q Developer adds operational investigation capability (Preview)
  4. Amazon Q Developer can now automate code reviews
  5. Amazon Q Developer can now generate documentation within your source code
  6. Amazon Q Developer announces automatic unit test generation to accelerate feature development
  7. Announcing GitLab Duo with Amazon Q (Preview)
  8. Amazon Q Developer now provides transformation capabilities for .NET porting (Preview)
  9. Amazon Q Developer transformation capabilities for mainframe modernization are now available (Preview)
  10. Announcing Amazon Q Developer transformation capabilities for VMware (Preview)
  11. Amazon Q Business introduces over 50 actions for popular business applications and platforms
  12. Amazon Q Business now provides insights from your databases and data warehouses (preview)
  13. The Amazon Q index enhances software vendors’ AI experiences
  14. Amazon Q Business adds support to extract insights from visual elements within documents

不明点とかちょっと細かいまとめ

Amazon Q xx の種類と違い

Bedrock xx

簡単なまとめ （数が本当に多い）

  • Novaモデルファミリーの公開(XのTLは始まる前から盛り上がってたBedrockerまじすごい)
  • Bedrock専用マケプレのリリースで多くの基盤モデルを利用可能に
  • レイテンシー最適化推論の実現でより高速な推論を実現
  • モデルの蒸留に対応、ユースケース特化のモデルをコスト効率高く作成可能に
  • Model EvalutionでLLM-as-a-judgeに対応、LLMに評価させることで人間がやらなくても良くなる。。？！
  • Rerank APIのサポートでランクづけによる精度向上とコスト削減
  • Knowledge Basesでデータの取り込みがネイティブになった、RAG評価機能がついた、クエリフィルタの自動生成機能追加、ストリーミング生成/GraphRAG構造化データのリトリーバル/マルチモーダルデータの処理のサポート、KendraのGenAI Indexが新しく追加されてマネージドリトリーバとして利用可能に
  • Data Automationで非構造化データ(画像とかビデオ)を処理、出力に対応することでより多くのコンテキストを対象としてRAGでの検索が可能に
  • マルチエージェント対応で複数のエージェントでの連携/並行作業が可能に
  • プロンプトキャッシュ機能の追加でコスト/レイテンシー削減の実現
  • プロンプトルーティング機能でリクエストごとにパフォーマンス予測をして動的なルーティングをして低コストなモデルを利用できるように
  • Guardrailsに自動推論チェック機能が追加されハルシネーションを抑制、マルチモーダルコンテンツの毒性検出のサポート

アップデートリスト

  1. Announcing Amazon Nova foundation models available today in Amazon Bedrock
  2. Amazon Bedrock Marketplace brings over 100 models to Amazon Bedrock
  3. Introducing latency-optimized inference for foundation models in Amazon Bedrock
  4. Amazon Bedrock Model Distillation is now available in preview
  5. Amazon Bedrock Model Evaluation now includes LLM-as-a-judge (Preview)
  6. Amazon Bedrock now supports Rerank API to improve accuracy of RAG applications
  7. Amazon Bedrock Knowledge Bases now supports custom connectors and ingestion of streaming data
  8. Amazon Bedrock Knowledge Bases now supports RAG evaluation (Preview)
  9. Amazon Bedrock Knowledge Bases now provides auto-generated query filters for improved retrieval
  10. Amazon Bedrock Knowledge Bases now supports streaming responses with RetrieveAndGenerateStream API
  11. Amazon Bedrock Knowledge Bases now supports GraphRAG (preview)
  12. Amazon Bedrock Knowledge Bases now supports structured data retrieval
  13. Amazon Bedrock Data Automation now available in preview
  14. Amazon Bedrock Knowledge Bases now processes multimodal data
  15. Announcing GenAI Index in Amazon Kendra
  16. Amazon Bedrock now supports multi-agent collaboration
  17. Amazon Bedrock announces preview of prompt caching
  18. Amazon Bedrock Intelligent Prompt Routing is now available in preview
  19. Amazon Bedrock Guardrails now supports Automated Reasoning checks (Preview)
  20. Amazon Bedrock Guardrails supports multimodal toxicity detection for image content (Preview)

不明点とかちょっと細かいまとめ

Novaの詳細
蒸留ってそもそも何？
LLM-as-a-judge..?
Rerank..?
GraphRAGって何
リトリーバルとは

SageMaker xx

簡単なまとめ

  • 次世代SageMakerの発表
    • Unified Studio: ETL含んだ統合パイプライン、モデル開発、生成AIカスタムアプリケーションの作成をサポート、Bedrock IDEが利用可能
    • Lakehouse: S3データレイク/Redshiftデータウェアハウスを統合し、Glueなどでクエリや詳細なアクセス制御を可能に
    • Data and AI Governance: セマンティック検索でのデータ/モデルへのアクセスと制御による組織内データコラボレーション
  • DataZoneと次世代SageMekerでのデータリネージ機能のサポートによるデータの理解促進
  • SageMaker Lakehouse
    • Glueの認証データ接続をサポートしメタデータ参照やデータプレビューが可能に
    • DynamoDB/RedshiftがZero-ETLに対応
    • SageMaker LakehouseからAthenaを利用してフェデレーションクエリおよびアクセス制御を実現
  • SageMaker HyperPod
    • 柔軟なトレーニングプランの実行が可能に
    • タスクガバナンスの提供によるコスト削減効果
    • レシピ機能でテスト済みのトレーニングスタックを利用した公開済みモデルのファインチューニングの高速化
  • パートナーAIアプリの利用が可能に
  • SageMaker CanvasでAmazon Q DeveloperがMLモデル作成を支援可能に

アップデートリスト

  1. Introducing the next generation of Amazon SageMaker
  2. Data Lineage is now generally available in Amazon DataZone and next generation of Amazon SageMaker
  3. Announcing the preview of Amazon SageMaker Unified Studio
  4. Announcing Amazon Bedrock IDE in preview as part of Amazon SageMaker Unified Studio
  5. Introducing Amazon SageMaker Data and AI Governance
  6. AWS announces Amazon SageMaker Lakehouse
  7. AWS expands data connectivity for Amazon SageMaker Lakehouse and AWS Glue
  8. Amazon DynamoDB zero-ETL integration with Amazon SageMaker Lakehouse
  9. Amazon SageMaker Lakehouse and Amazon Redshift support for zero-ETL integrations from eight applications
  10. Amazon SageMaker Lakehouse integrated access controls now available in Amazon Athena federated queries
  11. Amazon SageMaker HyperPod now provides flexible training plans
  12. Task governance is now generally available for Amazon SageMaker HyperPod
  13. Announcing Amazon SageMaker HyperPod recipes
  14. AWS announces Amazon SageMaker Partner AI Apps
  15. Amazon Q Developer can now guide SageMaker Canvas users through ML development

不明点とかちょっと細かいまとめ

DataZoneって何
セマンティック検索
次世代SageMakerって具体的にどんなイメージ
SageMaker HyberPodって何

雑なまとめ

新しいサービス多すぎ、あと機能強化された部分は当たり前だけど元々のサービスやベースのAI/ML部分がイメージできないとどんなものなのかが全然わからないなーという、、とても課題でした。。。

Discussion