【re:Invent 2022】Amazon AuroraとAmazon Redshiftによる運用解析の実現-Session Report
AWS re:Invent 2022で行われた、「Enabling operational analytics with Amazon Aurora and Amazon Redshift」のセッションレポートです。
この記事は、要点・見どころ・ポイントについてまとめます。
セッション概要
Title
Enabling operational analytics with Amazon Aurora and Amazon Redshift
Amazon AuroraとAmazon Redshiftによる運用解析の実現
Overview
Companies increasingly need near real-time analytics on operational data to better understand their customers and core business drivers to improve user experience and optimize business processes. Today, operational analytics systems are limited to a single database or consist of building custom data pipelines that can be challenging and costly to manage and at times create hours-long delays to obtain transactional data for analytics. In this session, dive deep into a new feature for Amazon Aurora, which supports zero-ETL integration with Amazon Redshift. Learn how this new no-code integration between Amazon Aurora and Amazon Redshift enables near real-time analytics and machine learning on petabytes of transactional data.
企業は、顧客や主要なビジネスドライバーをより深く理解し、ユーザーエクスペリエンスを向上させ、ビジネスプロセスを最適化するために、業務データをほぼリアルタイムで分析する必要性に迫られています。今日、業務分析システムは単一のデータベースに限定されているか、カスタムデータパイプラインの構築で構成されていますが、その管理は困難でコストがかかり、時には分析用のトランザクションデータを得るために数時間の遅延が発生します。このセッションでは、Amazon RedshiftとのゼロETL統合をサポートするAmazon Auroraの新機能を深く掘り下げます。Amazon AuroraとAmazon Redshiftの新しいノーコード統合により、ペタバイト級のトランザクションデータに対して、ほぼリアルタイムの分析と機械学習がどのように可能になるかを学びます。
Services
Amazon Aurora, Amazon Redshift
Session type
Breakout Session
Speakers
Neeraja Rentachintala, Principal Product Manager, Amazon
Adam Levin, Product Manager, Amazon Aurora, AWS
Youtube
セッション動画が公開されてます
Report
Amazon AuroraがAmazon RedshiftとのZero ETL機能が発表されました。
直前になってセッションが追加されたので参加しました。
Amazon Auroraは、Amazon RedshiftとのゼロETL統合をサポートするようになりました。これにより、AuroraからのペタバイトのトランザクションデータでAmazon Redshiftを使用して、ほぼリアルタイムの分析と機械学習(ML)が可能になります。Auroraにトランザクションデータが書き込まれてから数秒以内に、データはAmazon Redshiftで利用できるため、抽出、変換、を実行するために複雑なデータパイプラインを構築および維持する必要はありません、(ETL)操作をロードします。
このzero-ETLはプレビュー版とのことです。バージニアリージョンで試せます。
Amazon Aurora zero-ETL integration with Amazon Redshift is now available in limited preview for Amazon Aurora MySQL 3 with MySQL 8.0 compatibility in the US East (N. Virginia) Region.
既存の運用分析ソリューションは難しい
- 運用データベースからデータウェアハウスデータには複雑なデータ管理パイプラインが必要になってくる
- ETLジョブの構築と維持に高価で面倒
- スキーマ変更によるデータの複雑な再構築
- データの不完全。一貫性のない古いビュー、洞察を制限
- トランザクションと分析を処理する単一のシステムと同じデータベースで制限される
- スケーラブルではない
- 高価である
- 複数の運用データベース間でトランザクションデータを分析したり、データウェアハウスデータと結合することはできない
About Redshit
Overview
- 簡単、安全、信頼性
- インフラストラクチャを気にせず、数秒でデータ洞察を得ることに焦点を当てれる
- 全てのデータを分析する
- 運用データベース、データレイク、データウェアハウス全体で複雑でスケーリングされたデータに関するリアルタイムおよび予測分析を事項する洞察が得られる
- あらゆるスケールで最適価格なパフォーマンス
- 他クラウドデータウェアハウスよりも最大5倍優れた価格パフォーマンスを獲得、動的に拡張、複雑で重要なワークロードクエリ速度を向上させる
Performance
- 7倍コストパフォーマンス
- 短いクエリのスループット
About Aurora
1/10でMySQLとPostgreSQLの互換性を備えた、世界規模で比類のない高いパフォーマンスと可用性のため設計
Overview
- パフォーマンスとスケーラビリティ
- MySQL:標準の5倍スループット。PostgreSQL:標準の3倍。
- 最大15個の読み取りレプリカをスケールアウトする
- ストレージとコンピューティングの分離によって、コスト最適化が可能
- 高速なデータベースクロージング
- 分散されて動的スケーリングされたストレージサブシステム
- 可用性と耐久性
- 3つのAZにまたがる6つのデータコピー(顧客は1つに対して支払い)
- ポイントタイムリカバリによる自動・連続・増分バックアップ
- フォールトトレラント、自己修復、自動スケーリングストレージ
- 災害復旧のためのグローバルデータベース
- 非常に安全
- ネットワーク分離
- 保存中/転送中の暗号化
- 複数の安全な認証メカニズムと監査制御をサポート
- 完全に管理
- ハードウェアプロビジョニング、データベースのセットアップ、パッチ適用、バックアップなどの管理タスクの時間処理の管理を自動化
- サーバーレス設定オプション
Transaction analytics at scale
Amazon Aurora zero-ETL integration with Amazon Redshift
ペタバイト規模のデータを簡単かつ安全に、ほぼリアルタイムで分析することが可能
Benefits
データパイプラインなしで数秒でトランザクションデータから洞察への取得に焦点を当てる
- 簡単で信頼できる
- ETLパイプラインを複雑で構築し、維持する必要性を排除する
- 低遅延データ統合
- AuroraからのペタバイトのトランザクションデータをRedshiftを使って、ほぼリアルタイムの分析と機械学習を実行できる
- 統一された洞察
- Redshiftの高度な分析を使用して、複数のデータベースクラスタから統合されたデータの洞察を引き出す
End-to-End Serverless
Aurora v2とRedshiftがサーバーレス対応しており、ETL対応可能とのこと
インフラストラクチャの管理を心配することなく、分析を簡素化できる
Operational analytics across many databases
多くのデータベースによる運用分析も対応可能
Analyze and share near real-time data
ほぼリアルタイムのデータ分析も対応可能
締め
- Amazon Auroraの顧客は、完全管理されたAuroraのペタバイトのトランザクションデータに関するほぼリアルタイム分析にAmazon Redshiftを使用できる
- トランザクションデータがAmazon Auoraに書き込まれてから数秒以内にAmazon Redshitのデータが利用可能
- トランザクションデータはほぼリアルタイムでアクセスできるため、顧客はAmazon Redshitの分析および機械学習機能を活用して、トランザクションデータから洞察を引き出すことが可能
まとめ
Amazon Aruoraの利用者は多くいると思いますが、Auroraに保存されてるデータを分析したい要件など結構あったりすると今回のZeroETLサポートはかなり役立つと思います。
ただしプレビュー版なのもありますが、いつか東京リージョンにもGAしてもらいたいです。
以上
Discussion