📖

re:Invent 2025: Amazon S3 Tablesのレプリケーション機能でマルチリージョンデータレイクを構築

に公開
2025/12/10

はじめに

海外の様々な講演を日本語記事に書き起こすことで、隠れた良質な情報をもっと身近なものに。そんなコンセプトで進める本企画で今回取り上げるプレゼンテーションはこちら!

re:Invent 2025 の書き起こし記事については、こちらの Spreadsheet に情報をまとめています。合わせてご確認ください

📖 re:Invent 2025: AWS re:Invent 2025 - Building multi-Region data lakes with Replication for Amazon S3 Tables (STG358)

この動画では、Amazon S3 Tablesの新機能であるレプリケーションサポートについて解説しています。従来、Icebergテーブルのマルチリージョンレプリケーションは6〜12ヶ月の開発期間を要する複雑な課題でしたが、S3 Tablesのレプリケーション機能により数クリックで実現可能になりました。read-only replicaはソースと同じnamespaceとtable nameを持ち、既存データのバックフィルと継続的な更新の両方に対応します。Icebergのメタデータを理解し、スナップショットの順序を保証しながらファイルパスを自動変換します。デモでは、コンソールとAPIを使用したレプリケーション設定、複数リージョンからのデータ集約、Amazon Athenaでの分析クエリ実行が紹介されました。Zeta Globalの事例では、10ペタバイトのデータと10,000のIcebergテーブルを管理し、リージョンローカルレプリカによりネットワークレイテンシーを削減している実装が共有されました。

https://www.youtube.com/watch?v=3aca3axKgGs
※ こちらは既存の講演の内容を最大限維持しつつ自動生成した記事になります。誤字脱字や誤った内容が記載される可能性がありますのでご留意下さい。

本編

Thumbnail 10

セッション開始とマルチリージョンデータレイクの課題

皆さん、こんにちは。本日のセッションへようこそ。re:Inventは今のところ素晴らしい時間をお過ごしでしょうか。本日午後は、私、Amazon S3チームのプロダクトマネージャーのAritra Guptaです。そして、S3 EngineeringチームのNikos、それからZeta GlobalのSoumilも一緒です。お二人からも後ほどお話を伺います。

まず始めに、この会場にいらっしゃる方は、おそらくすでにApache Icebergを使っているか、本番環境のデータレイクでIcebergの使用を検討されていると思います。ちょっと手を挙げていただけますか、Icebergに詳しい方、あるいはすでに何らかの形でIcebergを使っている方。わあ、かなり多いですね。では、もう一歩進めて、データレイクをすでにセットアップしている、あるいは検討している今、おそらく複数のリージョンに展開したり、レプリケーションすることも考えていらっしゃるのではないでしょうか。グローバルに分散しているチームと共有するため、コンプライアンスのため、あるいは単にバックアップのユースケースのためです。

これを試したことがある方なら、Icebergテーブルのレプリケーションが非常に難しい問題であることはご存知だと思います。なぜなら、単にオブジェクトをある場所から別の場所にレプリケーションするだけではないからです。Icebergのメタデータ保証にも対応し、仕様をしっかり理解し、そしてレプリカを読み取り専用の状態にして、ダウンストリームアプリケーションで簡単に利用できるようにする必要があります。これを試したお客様からは、動作するアプリケーションを稼働させるまでに約6ヶ月から12ヶ月かかり、さらにチームの規模が拡大するにつれて、このインフラストラクチャを維持するための追加の時間もかかると聞いています。それが、私たちが今日解決しようとしていることです。つまり、これらすべての問題を解決するフルマネージドのIcebergレプリケーションソリューションをどのように提供するかということです。

Thumbnail 110

では、始めましょう。次の50分間で、以下の内容をカバーします。まず、そもそもなぜマルチリージョンデータレイクが必要なのかを見ていきます。次に、S3 Tablesについて少しお話しします。新しい提供機能であるS3 Tablesのレプリケーションサポートを紹介し、それを適用できるユースケースやワークロードを見ていきます。そして、Nikosがいくつかのデモを交えて機能を説明します。最後に、Zeta Globalで今年一年を通じてS3 Tablesを本番環境で使用してきたSoumilから、複数のリージョンに拡大する際にレプリケーションサポートをどのように活用する予定かについてお話を伺います。

Thumbnail 160

マルチリージョンデータレイクが必要な3つの理由:パフォーマンス、コンプライアンス、データ保護

では、始めましょう。まず、そもそもなぜマルチリージョンデータレイクが必要なのかについてお話しします。複数のお客様から伺った主要な要因が3つあります。1つ目はパフォーマンスです。想像してみてください。Singapore、London、New Yorkにデータサイエンティストがいて、データセットはUS East Oneにあるとします。Singaporeのデータサイエンティストは、クエリがずっと遅いと確実に言うでしょう。基本的にデータが太平洋を越えてはるばるやってくるからです。その上、彼らが実行する各クエリは、追加のリージョン間データ転送コストも発生させます。このシナリオでは、データセットをユーザーの近くに配置することが非常に理にかなっています。

次はコンプライアンスについてです。ヘルスケアや金融サービスなどの規制された業界にいる私たちにとって、プライマリコピーから隔離されたデータの別のコピーを持つことは、ほぼ常に要件となっています。これは、レジリエンス、ディザスタリカバリ、またはその他の義務のためである可能性があります。実際、一部の規制では、プライマリから完全に隔離されたデータの別のコピーを持つ必要があり、少なくとも500マイル以上離れていることが求められ、また異なる方法で暗号化される必要もあります。これも頻繁に出てくる一般的なユースケースです。

最後に、データ保護そのものについてです。皆さん、Icebergはタイムトラベル機能を提供していて、以前のバージョンにロールバックするのも簡単だと考えていると思いますし、それは確かにその通りです。しかし、誰かが誤ってテーブルを削除したり、データベース全体のテーブルを削除してしまったりする日に遭遇するお客様も見てきました。そして、その以前の状態に戻る良い方法がないのです。さらに、ランサムウェア攻撃やその他の種類の悪意のある活動から自分自身を保護したい場合もあるでしょう。これらすべてのシナリオにおいて、データの別のコピーを持つか、データレイクを別のリージョンにレプリケートすることを検討したいと思うはずです。

Thumbnail 270

Thumbnail 290

Thumbnail 300

Apache Icebergの仕組みと従来のレプリケーション手法の課題

さて、さらに深く掘り下げる前に、Icebergがどのように機能するかについて簡単にお話ししたいと思います。皆さんかなり詳しいようですので、あまり深くは触れません。一番下には、実際の行、実際の表形式データを含むParquetファイルがあります。 その上には、通常、メタデータファイルがあり、これらが基本的にIcebergの仕様を構成しています。これには、マニフェストリスト、マニフェストファイル、メタデータJSON などが含まれ、その上にクエリエンジンとカタログがあります。 お好きなクエリエンジンを使用できます。だからこそ私たちは皆Icebergが好きなんですよね?Sparkも使えますし、Trinoも使えますし、AthenaやRedshiftも使えます。

Thumbnail 320

そして、Icebergはこれらの複数のレイヤーで構成されているため、レプリケーションが少し難しくなるのです。これを説明するために、お客様が今日Icebergテーブルをレプリケートする3つの方法を見ていきたいと思います。

Thumbnail 330

さて、お客様が行う最初の方法は、単純にS3レプリケーションを使用することです。このシナリオで何が起こるかというと、ソースバケット、ソースファイルを取り、 S3レプリケーションをオンにするか、レプリカテーブルに物理的にコピーをレプリケートします。このアプローチを使用する際には、3つの大きな課題が出てきます。1つ目は、S3レプリケーションは現在非同期であるため、スナップショット2を宛先にコミットする前に、スナップショット1が到着したかどうかを理解する方法を見つける必要があることです。同様に、データファイルが到着する前にメタデータファイルが到着するシナリオもあり得ます。その場合、宛先でのクエリが役に立たない可能性があります。

2つ目の問題は、Icebergに特有のものですが、下層のデータファイルを参照するすべてのメタデータファイルには、絶対ファイルパスが埋め込まれているということです。例えば、通常はS3スラッシュあなたのバケットから始まり、その後に正確なキー自体へのパスが続きます。これが実際に意味するのは、これらを変換して宛先バケットを指すようにするカスタムロジックが必要になるということです。そして最後に、これらすべてがストレージレイヤー自体で発生しています。つまり、カタログと調整する必要があり、上位レベルのアプリケーションと調整して、反対側でレプリケートしているこれらの各コミットを確実に認識させる必要があります。これらすべてが完了すると、反対側でクエリ可能なレプリカができあがります。

Thumbnail 420

さて、一部のお客様は別のアプローチを取っており、ソーステーブルを用意してから、カスタムETLジョブやSparkジョブを実行します。そこでは、ソースに書き込まれたすべての論理スナップショットが宛先でレプリケートされます。このアプローチでは、お客様が考慮する必要がある3つの重要な検討事項があります。1つ目は、ジョブがソースでレプリケートされたスナップショットまたはコミットの状態を認識して追跡する必要があるということです。例えば、これを1時間ごとに実行する場合、スナップショット101まで追いついているなら、次回実行時にはその上のすべてのスナップショットを確認していることを確認したいわけです。

2つ目は、エラーシナリオをどのように処理するか、そして一部のオブジェクトが正常にレプリケートされたのに対し、他のオブジェクトがまだ処理中だった場合、これらのエラーシナリオをどのように処理するかを考える必要があります。そして最後に、これらのジョブはIceberg仕様を理解するために本当にスマートである必要があり、例えばソースでスキーマの進化があった場合や、ソーステーブルで何らかの隠しパーティショニングを行った場合、これらすべての更新も反対側で正確にレプリケートされることを確認したいわけです。

Thumbnail 490

そして最後のものは、お客様が単一のアプリケーションでこれら両方のテーブルにデュアルライトを行うというものです。さて、ここで明らかな設計上の課題が現れています。基本的に、レプリケーションインフラストラクチャをアプリケーションのクリティカルパスに置くことになります。そしてこれには考慮すべき独自の影響があります。例えば、ライターから確認応答を取得する必要がある場合を想像してください。ソースがコミットされたときにそれを行うのか、それともソースとレプリカの両方が正常にコミットされたときにそれを行うのか。また、レイテンシーについても考える必要があり、パフォーマンスについても考える必要があります。そして最後に、多くのIcebergライターは一度に1つのリージョンと1つのカタログにのみ書き込むことに慣れているかもしれません。したがって、すべてのアプリケーションが同時にこれら両方のリージョンに書き込むように配線されていることを確認する必要があります。

Thumbnail 530

さて、これらすべては単なる理論ではありません。実際、これを成功裏に構築したお客様がいました。彼らはリージョンAからリージョンBへペタバイト規模のデータレイクをレプリケートしていました。そして、これがどれほど複雑になり得るかがわかります。例えば、彼らはS3レプリケーションを使用してこれらのオブジェクトをリージョンAからリージョンBに移動しました。そしてその上に、これらのレプリカを前に進めるときにその状態を理解して追跡するDynamoDBグローバルテーブルがあります。そして、これを成功させるために、多数のLambda関数、CloudTrail、S3インベントリ、その他のものが内部で動作しています。つまり、彼らはこれを実現できましたが、リージョンAからリージョンBへテーブルをレプリケートするシンプルで簡単な方法を求める複数のお客様からこのような声を聞いています。

Thumbnail 580

Amazon S3 Tablesのレプリケーションサポート発表とread-only replicaの特徴

それでは、昨日発表されたこの内容についてお話ししたいと思います。これが私のマイクドロップモーメントです。Amazon S3 Tablesのレプリケーションサポートについてです。昨年、私たちはS3 Tablesを、クラウド上でApache Icebergを始めるための最も簡単な方法として発表しました。そして今年は、さらに一歩進んで、数回のクリックでデータレイクの複数のコピーを持つことができるようになりました。

これは単にIcebergを上に乗せただけのシンプルなオブジェクトレプリケーションではありません。私のトーク、デモ、そしてこれらすべてがどのように機能するかを見ていただければ、私たちがこれをゼロから構築したことがわかるでしょう。Icebergがどのように動作するかを本当に考慮しています。皆さんの要件から逆算して、このレプリケーション機能をそもそも構築しました。

Thumbnail 630

それでは、read-only replicaという新しい概念についてお話ししましょう。すべてのテーブルをレプリケートしたいバケット、または選択的にレプリケートする必要があるテーブルに対してレプリケーションを設定するたびに、サービスはread-only replicaと呼ばれるものを作成します。これには強調したい4つの重要な特徴があります。

まず、これらのレプリカはソースと同じnamespaceとtable nameを持っています。これが実際に意味するのは、アプリケーションやクエリをソースバケットからレプリカバケットに簡単に向けることができ、すべてのクエリを再利用するのが非常に簡単だということです。次に、特定のテーブルをレプリケートする必要があると教えていただいた瞬間から、私たちがすべてをレプリケートします。つまり、Icebergテーブルにある現在のすべてのsnapshotをバックフィルし、レプリケーションをオンにした後にテーブルで発生する継続的な更新もすべて確実に処理します。

3つ目は、私たちはIcebergのデータとメタデータをネイティブに理解し、Iceberg specの各部分を理解しています。つまり、スキーマを進化させたり、メタデータに他の変更があった場合でも、それらすべてが適切な方法でレプリカに伝播されるということです。最後に、これらすべてのread replicaは常にクエリ可能な状態です。つまり、アプリケーションをどのように向けるか、または異なる種類のRTOやRPO要件が必要かどうかを心配する必要はありません。これらのアプリケーションをレプリカ自体に向けた瞬間から、それらはクエリ可能な状態になっています。

Thumbnail 730

それでは、この機能が実際に何をもたらすのか、もう少し詳しくお話ししましょう。 S3 Tablesのネイティブレプリケーションサポートが標準で提供されることで、運用をシンプルにでき、Amazon S3のスケールと柔軟性が得られます。そして先ほど申し上げたように、これはApache Iceberg専用に構築されています。それでは、これらをそれぞれ詳しく見ていきましょう。

Thumbnail 750

S3 Tablesレプリケーションの3つの価値:運用のシンプル化、S3のスケール、Iceberg専用設計

まず1つ目は、運用をシンプルにすることと、データレイクをマルチリージョンにするために必要な重労働をすべて取り除く方法についてです。先ほど申し上げたように、数回のクリックといくつかの設定ファイルで、バケット内のすべてのテーブルをレプリケートできます。あるいは、本番環境のテーブルや重要なテーブルがいくつかあって、それらだけをレプリケートする必要がある場合でも、私たちがそれに対応します。

2つ目は、標準で監査とモニタリングが提供されることです。レプリケートするテーブルについて、レプリケーションがソーステーブルからレプリカテーブルにオブジェクトをレプリケートするたびに、CloudTrailログが取得できます。さらに、ステータスAPIも提供しており、これは基本的にレプリカがソースからどれだけ進んでいるか、どの変更が処理中かを教えてくれます。また、レプリカ上の最新のメタデータファイルに関する更新情報も提供されるので、ソース自体とクロスバリデーションできます。

最後に、これらすべてがネイティブAWS分析サービスとの標準統合で提供されます。Glue Data CatalogやLake Formation、そしてその上のUnified Studioとのワンクリック統合が引き続き利用できます。これにより、別のリージョンでデータレイクを立ち上げ、その上にアプリケーションを構築して実行することが非常に簡単になります。

Thumbnail 840

次に、非常に興味深い統計をご紹介したいと思います。それは、現在Amazon S3が毎週150ペタバイト以上のデータをリージョン間でレプリケートしているということです。これが興味深い理由は、S3 Tablesのレプリケーションサポート全体がこの上に構築されているからです。つまり、あらゆるサイズと種類のデータレイクに対応できるということです。ペタバイト規模のデータレイクを持ち込むことも、数万のテーブルを持つこともでき、標準でレプリケートします。

Thumbnail 870

さて、これのより興味深い部分は、スケールだけでなく、そこから得られる柔軟性でもあります。レプリカを本当にカスタマイズして、個々のニーズに合わせて有用なものにする3つの方法を強調したいと思います。1つ目はストレージクラスです。プライマリテーブルは必要に応じてスタンダードストレージクラスにすることができますが、レプリカでよりコストメリットを得たい場合は、Intelligent-Tieringストレージクラスにすることができます。実際、昨日Intelligent-Tieringをテーブル向けに発表したばかりです。

2つ目は、レプリカテーブルに対して個別に独立した保持ポリシーを設定できることです。

例えば、ソーステーブルは複数のスナップショットとともに7日間保持し、コンプライアンスバックアップは90日間保持し、アーカイブレプリカは最大7年間保持することができます。スナップショットの有効期限は、設定した各レプリカごとに独立して機能します。最後に、ソーステーブルとは別の独自の暗号化キーを選択できるため、セキュリティ体制が向上します。これらすべての機能により、特定のニーズに合わせたレプリカを作成できます。

Thumbnail 940

では、これがApache Icebergに特化して構築されている点について、もう少し詳しくお話ししましょう。まず最初に申し上げたように、これは非同期レプリケーションではありません。ここで実際に行っているのは、ソースでコミットやテーブルが更新された順序を理解し、その後、レプリケーション先に同じ順序を適用することです。つまり、スナップショット5は、常にスナップショット1から4がレプリケートされた後に現れるということです。2つ目は、メタデータファイルをレプリケートする際に、データファイル自体を参照するすべての部分を変換し、レプリカバケットを指すようにしていることです。これは大きな簡素化です。なぜなら、現在お客様がメタデータファイルを移動する際にそれらの変換を行うために多くのカスタムコードを費やしていることを私たちは知っているからです。

最後に、レプリケーションサポートについての考え方において非常に重要な部分があります。これは単にメタデータファイルをブラインドコピーするのではありません。実際に行っているのは、テーブルの更新ごとに、その更新が本当に何を意味するのかを理解し、レプリカ上で安全にマージすることです。これが、プライマリが例えば7日間だけであっても、7年以上保持できるより長期のレプリカを維持できる理由です。これは、ソーステーブルに書き込むたびに、そのデルタがIcebergの用語で本当に何を意味するのかを理解しているからです。最後に、現在最も一般的に使用されているIceberg V2と、数週間前にS3 Tablesによって立ち上げられたばかりのV3テーブルの両方をレプリケートします。これら両方のバージョンを標準でサポートしています。

Thumbnail 1040

Thumbnail 1050

Thumbnail 1070

レプリケーション機能の具体的なユースケース:グローバル展開とデータ保護

それでは、いくつかのユースケースと、これらの機能をどこで使用するかについて簡単に触れたいと思います。 非常に一般的なシナリオを見てみましょう。あなたが金融サービス会社で、データレイクがUS West Oneにあり、ここにすべてのトランザクションデータが集まっているとします。さて、数年後にグローバルに規模を拡大し始めたとしましょう。今ではロンドン、ムンバイ、ケープタウンにチームがあり、それらすべてが同じデータへのアクセスを必要としています。 彼らはトレーニングモデルを実行したいと考えており、さまざまな種類の分析を行いたいと考えています。ここでできることは、アプリケーションを展開することです。つまり、すべてのデータを1つのリージョンに収集し、それらを選択した1つ以上の地域にレプリケートすることができます。

Thumbnail 1090

さて、この逆のパターンも、私たちが途中で発見した興味深いユースケースです。あなたがサプライチェーン企業で、世界中のさまざまな地域で異なるコンポーネントが製造されており、シアトルにすべてのデータサイエンティストがいるため、一元化されたプラットフォームが必要だとします。今、すべてのデータを彼らに集約したいと考えています。できることは、サプライチェーン工場がある場所の近くですべてのデータを生成し、それらすべてをシアトル自体にレプリケートすることです。これは、マルチリージョンワークロード全体でより良いパフォーマンス、より低いレイテンシー、より良いコストを得る方法についてです。

Thumbnail 1150

データ保護について数分お話しさせてください。プライマリとレプリカがあるとしましょう。プライマリに新しい更新をコミットします。予想通り、もう一方の端にもレプリケートします。 さて、次に入ってきたコマンドがスナップショットS0とS1を期限切れにするものだったとしましょう。この場合、レプリケーションサービスはそれに対してアクションを取りません。それは、ソース上でスナップショットを期限切れにした一方で、レプリカには独自の独立したスナップショット有効期限ポリシーがあることを私たちが知っているからです。

Thumbnail 1180

Thumbnail 1200

さて、これはどのように役立つのでしょうか?古いデータが必要になり、誤ってそのスナップショット期限切れコマンドを実行してしまったシナリオに遭遇したとします。 その場合、できることは、レプリカを通じてすべてのデータを簡単に読み取ることができ、それによって以前の状態に戻ることができます。次のユースケースに移りますが、先ほど述べたように、これらを異なるユースケースに対応する複数のレプリカとして考えることができます。

Thumbnail 1220

たとえば、プライマリテーブルは短く、パフォーマンスが必要である一方で、オペレーショナルレプリカを少し長くすることができ、アーカイブテーブルは必要なだけ長くすることができます。最後に、コンプライアンス要件を満たす必要がある私たち全員にとって、 これらのテーブルが2つの異なるリージョンに分離されていることを想像できます。クロスアカウントレプリケーションも行っているため、これらは完全に異なる2つのアカウントである可能性があり、完全に異なる方法で暗号化されている可能性があります。

Thumbnail 1250

Nikosによるデモ:テーブルレプリケーションの設定とバックフィル、継続的更新の監視

それでは、Nikosに引き継いで、これが実際にどのように機能するかのデモをお見せします。ありがとうございますAritra。私はNikosです。今日は一緒に本当に興味深いものをご覧いただきます。それは、S3テーブルをリージョン間およびアカウント間でレプリケートする方法です。それでは、3つの具体的なデモを見ていきます。1つ目は、テーブルレプリケーションの設定方法と、ソースからレプリカへ既存データをバックフィルする方法です。2つ目は、継続的な更新、つまりソーステーブルに入ってくる新しいレコードのレプリケーションについてです。ここでは、Aritraが先ほど言及したAPIを使用してレプリケーションを監視する方法も見ていきます。3つ目は、私の意見では最もエキサイティングなもので、分析のためにデータを集中化する実際のシナリオです。いくつかの興味深いクエリを見ていきます。

Thumbnail 1290

Thumbnail 1300

デモの後、この新しいS3テーブル機能を設計する際に直面した興味深い課題をいくつか見ていきます。それでは、最初のデモに入りましょう。ここでのケーススタディは、Aritraと私が電子商取引の新しいスタートアップを構築しているというものです。モバイルアプリがあり、トランザクションを便利な名前のtransactions historyテーブルに保存しています。このhistoryテーブルは、レプリケーションのソースとなるため、source table bucketにあります。さて、私たちのユースケースは、Aritraがこのデータを、彼が運用しているAWSリージョンの近くに置いて、分析を生成したいというものです。

Thumbnail 1320

Thumbnail 1330

Thumbnail 1340

それでは、このtransactionsテーブルに実際にどのようなデータがあるのか見てみましょう。Amazon Athenaでcountを選択します。テーブルには正確に100件のトランザクションがあります。Icebergスナップショットがいくつあるか見てみましょう。10個です。とても都合がいいですね。10個のスナップショットにわたって100行、100レコードがあります。

Thumbnail 1350

Thumbnail 1360

Thumbnail 1380

Thumbnail 1390

それでは、これをレプリケートしていきますので、レプリケート方法を見てみましょう。ソーステーブル、つまりtransactionsに戻り、クリックして新しいManagementタブに移動します。ここで、まさにその1つのテーブルをレプリケートするためのテーブルレプリケーション設定を定義できます。Create table replication configurationをクリックし、ここでパラメータを指定します。最初のパラメータは、宛先のテーブルバケットは何かということです。Aritraのテーブルバケットを選択したいと思います。これは便利なことにdestinationという名前です。この選択を送信し、次に、レプリケーションがデータをレプリケートするために使用するIAMロールを選択します。このロールには、ソースと宛先のテーブルバケットの両方に対する権限が含まれています。すでにロールを作成しているので、ここで選択し、レプリケーション設定を送信します。つまり、基本的に設定するパラメータは2つです。宛先とロールです。

Thumbnail 1410

Thumbnail 1420

これで作成が完了し、先ほど設定したパラメータを含む更新されたManagementタブが表示されます。そして、更新ボタンを押すと、pendingステータスが表示されます。Pendingステータスは、現在進行中のレプリケーションが行われていることを意味します。これは具体的に何を意味するのでしょうか?1つ目は、指定した宛先テーブルバケットにレプリカテーブルが作成されることです。2つ目は、そのレプリカが作成されるとすぐに、ソーステーブルに存在するデータが宛先にレプリケートされることです。

Thumbnail 1470

では、具体的にどのようなデータがレプリケートされるのかという質問があるかと思います。それは、すべてのアクティブなスナップショットを含む現在のアクティブなコミットです。つまり、ソースからレプリカへクエリとタイムトラベル機能を維持しているということです。さて、数分経ちましたので、もう一度リフレッシュボタンを押してみましょう。すると、このステータスがpendingからcompletedに変わっているのが確認できます。completedをクリックすると、タイムスタンプが表示されたポップアップが表示されます。このタイムスタンプは、レプリカがソースと同期した瞬間、つまりレプリケーションが完了し、すべてのデータがレプリカに存在するようになった正確な時刻を表しています。

これで、すべてのスキーマ、すべてのIcebergファイル、すべてのデータがレプリカに存在することになります。では、実際に見てみましょう。先ほどAmazon Athenaをお見せしましたが、個人的には私の故郷と同じ名前なので本当に気に入っています。しかし、Aritraはターミナルが大好きなんです。彼はProduct Managerでありながら、心はエンジニアなんだと思います。では、DuckDBで彼のdestination table bucketに接続してみましょう。

Thumbnail 1510

Thumbnail 1520

destinationと呼ばれるものをアタッチします。このtable bucketに転送され、レプリケートされたスナップショットがいくつあるか見てみましょう。具体的には、transactionsテーブルには10個あります。ソースと全く同じ数ですね。レコード数を見てみましょう。ソースには100個ありましたよね。完璧です、完全に一致しています。10個のスナップショットにわたって100個のレコードがあります。

Thumbnail 1550

Thumbnail 1560

Thumbnail 1570

レプリカはソースと完全に同期しており、これからレプリカに対してクエリを実行し続けることができます。では、これらのスナップショットをもう少し詳しく見てみましょう。上部にはソーステーブルの最後の4つのスナップショットがあり、下部にはレプリカのものがあります。最初の3つのカラムに注目してください。sequence number、snapshot ID、そしてtimestampです。これらはソースとレプリカの間で全く同じです。なぜなら、レプリケーションは全く同じ値を維持するからです。しかし、今度はmanifest listのlocationを見てください。ソースでは特定のS3ストレージロケーションがありますが、レプリカでは異なるものになっています。これは、ストレージロケーションがコンテキスト、つまりソースかレプリカかに関連しているためです。

Thumbnail 1610

ここでの重要なポイント、非常に興味深いポイントは、レプリケーションがこれを自動的に行ってくれるということです。Icebergファイル内のすべてのファイルパス、つまりmanifest list、manifestメタデータファイルなどを自動的に書き換えてくれるので、あなたは何もアクションを取る必要がありません。ここにあるすべてのmanifest listがすでにレプリケーションによって更新されているのがわかります。では、別のケースを見てみましょう。私たちのアプリケーションは顧客によって使用されており、今、実際にさらに多くの更新が作成されています。これらの更新をレプリケートする方法を見てみましょう。

Thumbnail 1620

Thumbnail 1630

Thumbnail 1640

Thumbnail 1650

それでは、まさにそのシナリオをシミュレートしてみましょう。ソーステーブルのAmazon Athenaに1つのレコードを挿入します。では、やってみましょう。S3 Tablesレプリケーションの使用ガイドを挿入します。なぜやらないんですか?ご覧のとおり、これは自動的にレプリケートされます。すでにレプリケーションを設定済みです。アクティブになっています。つまり、新しいレコード、新しいスナップショットはすべて自動的にレプリケートされるということです。では、これを挿入した後、トランザクションがいくつあるか見てみましょう。もう1つ増えて、101です。そしてスナップショットはいくつでしょうか?11です。新しいスナップショットが1つ、新しいトランザクションが1つ、テーブルトランザクションに新しいレコードが1つあります。

Thumbnail 1670

Thumbnail 1680

Thumbnail 1690

それでは、このレプリケーションのステータスを確認しましょう。私たちは何もアクションを取っていません。新しいAPIでステータスを見ているだけです。get table replication statusですね。このAPIには後で戻ってきますので、今はステータスを見たいだけです。completedになっています。完璧です。このステータスは、AWSコンソールのManagementタブからも同じように確認できます。ここでリフレッシュすると、再びcompletedと表示されます。しかし、より詳しく見てみると、異なるタイムスタンプが表示されます。これは、新しいスナップショットがデスティネーションにレプリケートされた時のタイムスタンプです。

Thumbnail 1700

Thumbnail 1710

実際のところ、ソースに新しいデータがあるたびに、ステータスはpendingに切り替わり、その後再びcompletedになります。つまり、レプリケーションの進行状況をリアルタイムでクエリできるということです。では、デスティネーションに移りましょう。以前は10個のスナップショットがあったことを覚えていますか。新しいものが取得できたか見てみましょう。そして、ここにあります。今は11になっています。つまり、ソースとデスティネーションにまったく同じデータがあるということです。引き続き分析を実行できます。Aritraは満足していると思います。では、別のトピックに移りましょう。

Thumbnail 1730

複数リージョンからのデータ集約と分析クエリの実演

このget table replication statusについて話しました。ここでもう少し詳しく見てみましょう。まず、これはコンソールを使用するのと同等ですが、より多くのデータが得られます。そして、なぜこれが重要なのか。ソーステーブルのレベルでテーブルレプリケーションステータスを要求します。パラメータと結果にソーステーブルのARNが含まれていることがわかります。各テーブルには、複数のデスティネーションを設定できます。そのため、ここではすべてのデスティネーションのリストと、各デスティネーションのデータが取得されます。

ここで表示されるステータスは、1つのデスティネーションではcompletedでも、別のデスティネーションではin progressまたはpendingである可能性があります。そのため、そこで完全な情報が得られます。また、設定した構成に関する情報も表示されます。レプリケート先のテーブルは何か、テーブルバケットは何か、そして最終更新日時も表示されます。これは、覚えていらっしゃると思いますが、コンソールで見たタイムスタンプです。ここでは、さらに最後のメタデータファイルのメタデータロケーションが正確に何であるかも表示されます。

Thumbnail 1790

Thumbnail 1800

では、私の意見では最も興味深いユースケースを見ていきましょう。数ヶ月後、私たちのスタートアップは拡大しています。現在、ヨーロッパ、アジア、オーストラリアの3つの大陸にまたがって顧客を抱えています。ここで興味深いのは、3つの異なるAWSリージョンにデータを保存しているということです。

Aritraは分析を実行し、結合されたデータセットに対してクエリを実行したいと考えています。では、どのようにしてそれを結合するのでしょうか?ここでは、すべてのデータをAritraに最も近いリージョンにレプリケートすることで結合することを提案しています。北米の1つのリージョン、例えばUS Eastにレプリケートし、それを正確にどのように行うかを見ていきましょう。

Thumbnail 1830

Thumbnail 1860

これが私たちが扱っているデータです。3つのテーブルバケットがあります:ecommerce Asia Pacific、ecommerce Australia、そしてecommerce Europeです。では、これらのテーブルバケットに正確に何があるのか見てみましょう。最初のものを開いて、どのようなテーブルがあるか見てみます。ordersとorder itemsが親子関係にあり、非常に典型的な設定です。

Thumbnail 1870

Thumbnail 1880

Thumbnail 1890

今回は、それぞれに対してレプリケーションを設定したくありません。なぜなら、この設定を2回実行したくないからです。そこで今回行うのは、テーブルバケットの管理タブに移動することです。これにより、このテーブルバケット内のすべてのテーブルに対してレプリケーションが設定されますので、それを実行しましょう。ご覧のとおり、設定は全く同じです。宛先のテーブルバケットを選択します。この場合は別のリージョンにあり、ecommerce analyticsと呼ばれています。

Thumbnail 1900

Thumbnail 1910

それを送信し、もちろんすでに作成済みのレプリケーションロールを選択します。再び、レプリケーション設定を作成します。そして今、管理画面に戻り、その基本情報が表示されています。さて、残りの2つのテーブルバケットについても、画面外で全く同じプロセスを実行しましたので、そこに時間を費やすことはしませんが、レプリカに正確に何があるかを見ることに時間を使います。

それでは、3つの大陸からのすべてのデータを1つの特定のテーブルバケットにレプリケートしました。Amazon Athenaに戻って、そこにどのようなデータがあるか見てみましょう。しかしその前に、皆さんはこう質問されるかもしれません。3つのソースそれぞれのordersとorder itemsをどのように区別するのか?同じテーブルバケットにマージされたときに競合しないのか?答えはノーです。なぜでしょうか?それは、S3 Tablesとネームスペースを使用して、データがどのソースから来ているかを区別しているからです。これから実際にその動作を見ていきます。

Thumbnail 1960

Thumbnail 1980

それでは、このデータベースのドロップダウンを見てみましょう。ここには3つの値があり、これらは私たちが定義したネームスペースです。これらのネームスペースをクエリ内の識別子として使用することで、実際にどのデータを取得して分析を生成したいかを定義できます。それでは、ここで実行できる興味深いクエリをいくつか見てみましょう。最初のものは、トップの製品カテゴリーを示しています。どこで最も良いパフォーマンスを発揮しているか、次にどこに注力すべきかです。ここでは、大陸ごと、地域ごとに、カテゴリー、収益、注文数などが表示されています。これは実行できる典型的なレポートです。

Thumbnail 2000

Thumbnail 2010

Thumbnail 2020

2つ目は地域とそのパフォーマンスについてです。ヨーロッパ、アジア、オーストラリアなどで、売上がどのように推移したかです。ここでは売上、顧客数、平均注文数、注文額が表示されており、実際にあらゆる種類のデータを集計できます。これは単なるサンプルです。最後のものは支払い方法についてです。例えば、どの支払い方法が最も良いパフォーマンスを示しているか、顧客が正確にどこに傾いているか、次にどこに投資すべきか、どのようなコラボレーションを行うべきかです。

Thumbnail 2050

ここでは銀行振込、モバイル決済、支払い方法ごとの金額が表示されていますが、基本的に重要なのは、これらはテーブル上で実行できる非常に基本的なクエリだということです。分析に関しては、可能性は無限大です。基本的に想像できることは何でも実行できますが、ここで覚えておく必要があるのは、これはS3 Tablesのレプリケーションによって実現されており、これらのデータセットを一元化し、1つの特定の場所でこれらの分析を実行しているということです。

Thumbnail 2060

Thumbnail 2090

レプリケーション実装の技術的課題:スナップショット順序と並行性の制御

それでは次に、私たちが直面したいくつかの興味深い課題について見ていきましょう。これは少し技術的ですが、それほどではありません。皆さんのために少し高いレベルで説明していきます。最初のものはスナップショットの順序についてです。ご存知かもしれませんが、Icebergのスナップショットは独立していません。スナップショット2はスナップショット1の後に来なければなりません。なぜなら、その親がスナップショット1だからです。そしてスナップショット3はスナップショット2の後に来なければなりません。従来のデータ用語で想像してみてください。スナップショット1がレコードを作成し、スナップショット2がそのレコードを更新し、スナップショット3がそのレコードを削除します。したがって、例えばスナップショット3、つまり削除を、更新や作成の前にレプリケートすることは決してできません。それは意味がありません。

Thumbnail 2100

もしそれを行うと、実際にレプリカが破損してしまいます。クエリを実行することも、タイムトラベルすることもできなくなります。では、S3 Tablesのレプリケーションにおいて、すべてを順序通りにレプリケートするためにどう解決するのかという疑問が出てきます。私たちはすべてをシーケンス番号を基盤にしています。

Thumbnail 2110

すべてのスナップショットは独自のユニークなシーケンス番号を持っており、 それらは単調増加するため、シーケンス番号を検証します。コミットすべき時が来る前、つまり順序通りにコミットされるべき前には、決してスナップショットをコミットしません。スナップショットの親子関係を検証し、強制します。また、コミットが時系列順に行われるようにします。そして最後に、ボーナスとして、並行書き込みを調整します。これは少し興味深いもので、次のスライドのトピックになります。

Thumbnail 2140

Thumbnail 2160

では、並行性について見ていきましょう。 私たちが行っているのは、Aritraが述べたように、ソースからデスティネーションへメタデータを単純にコピーするだけではないということです。それはできません。なぜなら、メタデータにはコンテキスト固有の、つまりレプリカ固有やソース固有のフィールドや情報が含まれているからです。例を挙げて説明しましょう。ソーステーブルをデスティネーション、つまりレプリカにレプリケートしたいとします。 レプリケーションだけがこれらのテーブルに作用する唯一のアクターではありません。S3 Tablesのメンテナンスによって実行される保持ポリシーもあるかもしれません。

Thumbnail 2170

Thumbnail 2180

Thumbnail 2190

Thumbnail 2200

さらに具体的な例を見てみましょう。 ソーステーブルがあります。スナップショット1を作成すると、デスティネーションのスナップショット1にレプリケートされます。 パスのことを考えなければ、これはほぼ直接的なコピーです。次にスナップショット2があり、これもレプリケートされます。 しかし、スナップショット1を期限切れにすると、ソースとレプリカは分岐してしまいます。ですから、レプリケーションのための操作を行う際には、非常に注意深く、コンテキスト固有で、状況を認識している必要があります。

Thumbnail 2210

その後、スナップショット3をレプリケートする際、レプリケーションプロセスは ソースの状態を評価し、デスティネーションの状態を評価し、受信したメタデータに実際にはスナップショット1が含まれていない場合に、それを削除しないようにする必要があります。だからこそ、私たちは実際にマージを行います。両方の状態を評価し、非常に情報に基づいた意思決定を行うのです。

Thumbnail 2230

では、私たちが具体的に何をしているのか見ていきましょう。メタデータフィールド、つまりすべての情報を3つのカテゴリーに分類しています。1つ目は履歴データです。履歴データは、まずレプリカに保存され、次にコンテキストに固有である必要があります。つまり、ソースから取得したスナップショット、スナップショットログ、メタデータログ、スキーマは、実際にデスティネーションにコミットする前に、デスティネーション側のものと照合して評価する必要があるということです。2つ目は、ソースから同期されるフィールドで、基本的にソースから直接転送されるもので、これらはテーブルのアクティブな状態に関連しています。例えば、現在のスキーマは何か、現在のスナップショットは何か、といったものです。

最後の1つは、レプリカレベルで変更されるフィールドで、これらはレプリカにのみ関連するものです。これまで何度も見てきたファイルパスやストレージロケーションがそれにあたり、各デスティネーションで有効になるようにすべて更新します。例えば、1つのソースと5つのデスティネーションがある場合、それぞれが独自のファイルパスを書き換えることになります。最後はもちろんカタログで、デスティネーションでは異なるものになる可能性があります。

Zeta GlobalによるS3 Tables活用事例:10ペタバイト規模のマルチテナントデータ取り込み

これで興味深い課題のセクションは終わりです。次はSoumilに引き継いで、S3 Tablesを実際にどのように使用しているかを見ていきます。ありがとうございました、Nikos。皆さん、こんにちは。聴衆の皆さんに自己紹介させてください。私はSoumil Nitin Shahで、Zeta Globalのリードソフトウェアエンジニアです。

Thumbnail 2330

弊社についてもう少しお話しさせてください。Zeta Globalは、AIを活用したマーケティングプラットフォームを運営しており、大企業が顧客を獲得し、維持し、成長させることを支援しています。当社のミッションは、人工知能と大規模な消費者独自データセットを活用して、クライアントに高い投資収益率を生み出すことで、洗練されたマーケティングをよりシンプルで効果的なものにすることです。

では、AIを活用したマーケティングプラットフォームについてお話しします。Zeta Marketing Platformは、顧客が誰であるかを知ることから、彼らの行動を理解すること、そしてアクションを起こすことまで、すべてを1つの場所にまとめることで、マーケティングをシンプルでより効果的にします。Zeta Marketing Platformについてお話しさせてください。これは3つのコアピラーの上に構築されています。最初のピラーはアイデンティティです。私たちは2億4500万人の米国消費者プロファイルという規模で運営しており、これにより非常に精密なアイデンティティ解決を提供することができます。

次はインテリジェンスです。私たちは1兆を超える消費者シグナルを取り込んでいます。行動、位置情報、購入履歴、ウェブサイト、ソーシャルアクティビティなど、さらに多くのデータです。これにより、私たちのAIが皆さんにとって最適なマーケティング戦略を見つけ出すことができます。そして最後に、アクティベーションです。私たちはすべてのチャネルにわたって真の1対1のエンゲージメントを可能にし、マーケターが結果を測定、最適化、改善できるよう支援します。

Thumbnail 2410

Zetaは、すべてを1つの場所に統合する唯一のプラットフォームです。 Zeta Globalは現在、データレイクとデータウェアハウス全体で約10ペタバイトのデータを保有しています。私たちは毎日約6テラバイトのデータを取り込んでおり、このデータは10,000のIcebergテーブルに保存され、マルチテナントワークロードをサポートしています。私たちのデータセットは年々40%ずつ成長しており、現在のパイプラインへの負荷が増大しています。

Thumbnail 2460

従来のパイプラインでは、大量の取り込みボリュームと10分以内にインサイトを提供する必要性の組み合わせに対応できませんでした。そのため、Zeta GlobalはAmazon S3 Tablesを採用しました。これにより、非常に大規模なIcebergワークロードで予測可能なパフォーマンスが得られ、データの鮮度が最大80%向上し、プラットフォーム全体を再設計することなく、より高速で信頼性の高い分析が可能になります。 では、Zeta GlobalがS3 Tablesへのマルチテナントデータ取り込みをどのように管理しているか見ていきましょう。

Thumbnail 2490

毎月、私たちは約185テラバイトのデータを処理しています。これは1時間あたり約250ギガバイトに相当し、これらすべてを10分以内に10,000のIcebergテーブルに取り込んでいます。では、ソリューションを見ていきましょう。私たちにはユーザープロファイルを管理するpeople serviceがあり、これはOLTPデータベースとしてAerospikeを使用しています。 このサービスは毎秒50,000の書き込みを処理しており、これらすべてが大量のCDCイベントを生成します。

これらのイベントはKafkaトピックにキャプチャされ、その後Kafkaコンシューマーがこれらのメッセージを読み取り、テナントIDでパーティション分割されたS3バケットにダンプします。次に、Step Functionsワークフローが毎分実行され、新しいデータファイルがあるかどうかをチェックします。新しいデータファイルがある場合、システムはロックを取得して、他のシステムが同じデータを同時に処理できないようにします。その後、ワークフローは分散方式でデータを読み取り、図に示されているようにEMRにジョブを送信します。

Thumbnail 2530

それでは、オーケストレーションと、これらのジョブをどのようにオーケストレーションしているかについて、より詳しく見ていきましょう。最初のステップはロックの取得です。インジェストを開始する前に、システムはまずロックを取得します。次に、データをパーティション化します。ロックを取得した後、システムはテナントデータを異なるバケットにパーティション化します、ご覧のように。次に、SparkジョブをEMRクラスターに送信し、非同期コールバックパターンを使用します。

Thumbnail 2580

ジョブが完了すると、Step Functionsに応答が返されます。Step Functionsによってキャプチャされた失敗は、2回のリトライをトリガーし、その後、残された孤立ファイルをクリーンアップします。これが、S3 Tablesレプリケーション機能の使い方です。私たちは米国、ヨーロッパ、アジアで運用していますが、 プライマリのIcebergテーブルは1つのリージョンに集中していました。

Thumbnail 2620

S3 Tablesレプリケーションにより、現在はコアデータセットのリージョンローカルレプリカを維持しています。リージョンローカルレプリカにより、お客様は最寄りのリージョンからサービスを受けることができ、ネットワークレイテンシーが削減されます。それでは、Aritraに引き継ぎます。ありがとう、Soumil。さて、今日カバーした内容を簡単におさらいしたいと思います。この後もQ&Aの時間がまだありますので、もっと詳しく知りたい方はぜひ、 でも重要なポイントはここにありますよね。

まとめと関連セッションの紹介

基本的に、先ほど申し上げたように、昨年私たちはS3 Tablesを提供しました。これはIcebergを始めるための非常にシンプルでフルマネージドな方法です。そして、レプリケーションサポートでそれを拡張しました。同一リージョン、クロスリージョン、同一アカウント、クロスアカウントで、さまざまな目的のためにデータのコピー、データのレプリカを作成できます。Nikosが示したように、セットアップは非常にシンプルで、監査と監視も簡単です。そして、これらのレプリカについて、どのように暗号化したいか、どのストレージクラスにするか、同じ場所にどのくらいの期間保持したいかという観点で、どのように考えるべきかについてのベストプラクティスがいくつかあります。

Thumbnail 2670

そして最後に、皆さん全員にコンソールをぜひ見ていただきたいですし、DuckDBでも、Sparkでも、Redshiftでも、さまざまなIcebergアプリケーションをすべて見て、ぜひ試してみてください。さらに、re:Inventが終わりに近づく中で、いくつかのセッションを強調しておきたいと思います。 明日、私のチームメイトの一人であるAdiが、S3 Tablesがどのように機能するか、いくつかのベストプラクティスについてプレゼンテーションを行う予定ですので、それも興味深いセッションになると思います。

Thumbnail 2700

そして、chalk talkでは、他のエンジニアやチームメンバーが、S3 TablesとSageMakerのアーキテクチャ全体についてより深く掘り下げていきます。それでは、本日はご参加いただき本当にありがとうございました。お役に立てたことを願っています。そして、皆さんがこの機能を試してくださることを楽しみにしています。ありがとうございました。ありがとうございました。


※ こちらの記事は Amazon Bedrock を利用し、元動画の情報をできる限り維持しつつ自動で作成しています。

Discussion