🚰

Redshift Serverless と Aurora PostgreSQL のゼロ ETL 統合を試してみた

Yudai Suzuki

2025/05/13に公開

 はじめに2024 年 10 月 15 日、以下 2 つの発表がありました。
Amazon Aurora PostgreSQL と Amazon Redshift のゼロ ETL 統合が一般提供開始

Amazon Aurora PostgreSQL zero-ETL integration with Amazon Redshift now generally available - AWS
Amazon DynamoDB と Amazon Redshift のゼロ ETL 統合が一般提供開始

AWS announces general availability of Amazon DynamoDB zero-ETL integration with Amazon Redshift - AWS
いずれも、これまで開発や運用コストがかかりがちだった ETL パイプラインを「ゼロ ETL」で実現し、データソースと Redshift をリアルタイムあるいは指定間隔でシームレスに接続できるようになる画期的な機能です。

本記事では、これらのゼロ ETL 統合を利用して、Redshift Serverless と Aurora PostgreSQL、および DynamoDB を連携する PoC を行った手順をまとめます。

 背景データ分析基盤の構築において、会話ログなどの各種データを活用する必要がありました。ただし、少人数で開発を進めるプロジェクトだったため、従来の ETL プロセスをゼロから構築・保守するのは負荷が大きいと考えました。そこで、Redshift、Aurora、DynamoDB のゼロ ETL 統合によって、リアルタイムかつ運用負荷の少ないデータ連携が可能になればと考え、PoC を実施することにしました。

 ゼロ ETL 統合の主要な制約事項
 Aurora PostgreSQL 側の制約
Aurora PostgreSQL バージョン: バージョン 16.4 以上が必要。

DB クラスターパラメータ: rds.logical_replication=1 など特定の設定が必要（静的パラメータ）。DB インスタンスの再起動が発生するため、本番運用時に留意が必要。
公式ドキュメント: Working with Aurora zero-ETL integrations with Amazon Redshift

 DynamoDB 側の制約
ポイントインタイムリカバリ (PITR) をテーブルごとに有効化する必要がある。
公式ドキュメント: Considerations when using zero-ETL integrations with Amazon Redshift - DynamoDB

 Redshift 側の制約
対象の Redshift クラスターは
Redshift Serverless または RA3 ノードタイプ
暗号化が有効（プロビジョニング時）
大文字と小文字の区別が有効

公式ドキュメント: Considerations when using zero-ETL integrations with Amazon Redshift

 Redshift はプロビジョンドか Serverless か？上記の通り、 ゼロ ETL を利用するにあたり、Redshift は Serverless または RA3 ノードタイプを選ぶ必要があります。

プロビジョンド (RA3)
プロビジョンドを利用する場合、2024 年 10 月 1 日にリリースされた RA3.large (1 時間 0.639 ドル) が最小構成。
コストを抑えるうえでは最小構成でもそれなりに費用がかかる点に注意。

Amazon Redshift RA3 large の新機能発表
Amazon Redshift の料金ページ

Redshift Serverless
1 RPU = 0.494 ドル/時。
最小 8 RPU（1 時間あたり約 3.952 ドル）から使用可能。
使った分だけの従量課金が基本だが、リアルタイムのゼロ ETL 統合中は常時起動扱いになるため注意が必要。
10 月 14 日にリリースされた refresh interval 機能を使えば、定期的に同期する形にしてコストを抑えられる。

Amazon Redshift の料金ページ
Amazon Redshift Refresh Interval Zero ETL Integration の新機能発表
今回は、スケーリングや運用の簡易さ、利用時間外のコスト軽減が見込める Redshift Serverless を選択しました。

 Aurora PostgreSQL との連携手順ゼロ ETL 連携の構築手順は基本的に公式ドキュメントに準拠します。

Getting started with Aurora zero-ETL integrations with Amazon Redshift - Amazon Aurora

 1. スナップショットからの DB 構築PoC 用として、開発環境もしくはテスト環境などのスナップショットを用いて Aurora DB を復元し、PoC 用クラスターを立ち上げます。

本番環境では新規構築や既存クラスターの活用など、要件に応じて使い分けましょう。

 2. Aurora PostgreSQL のバージョンアップAurora PostgreSQL は バージョン 16.4 以上が必要です。

RDS/Aurora のメジャーバージョンアップグレードについて

 3. カスタム DB クラスターパラメータの設定ゼロ ETL 統合では以下のパラメータが必要です（Aurora PostgreSQL 16 ファミリー）。
rds.logical_replication = 1
aurora.enhanced_logical_replication = 1
aurora.logical_replication_backup = 0
aurora.logical_replication_globaldb = 0
これらは静的パラメータであり、変更後に DB インスタンスの再起動が必要です。本番環境での適用時には停止時間などに注意します。
再起動前

再起動後


 4. Redshift Serverless の構築Serverless のワークグループおよび名前空間を作成します。

Creating a workgroup with a namespace - Amazon Redshift

 5. 大文字と小文字の区別を有効にする次のコマンドを AWS CLI で実行し、Redshift Serverless の enable_case_sensitive_identifier を有効にします。
aws redshift-serverless update-workgroup \
 --workgroup-name <your-workgroup-name> \
 --config-parameters parameterKey=enable_case_sensitive_identifier,parameterValue=true

 6. Redshift の認可設定Redshift ワークグループにリソースベースポリシーを設定し、ソースとなる Aurora クラスターをプリンシパルとして含める必要があります。

Configure authorization for your Amazon Redshift data warehouse - Amazon Redshift

 7. Aurora ゼロ ETL 統合の作成RDS 側で対象データベース、連携対象テーブルのフィルタなどを指定し、Amazon Redshift のターゲットを紐付けます。
セットアップ後、管理コンソールからテーブルのレプリケーション状況（成功 / 失敗数など）が確認できます。

Creating Aurora zero-ETL integrations with Amazon Redshift - Amazon Aurora

 8. Redshift 上で宛先データベースを作成Aurora からレプリケートされたスキーマやテーブルを Redshift の 宛先データベースとして登録します。

Creating destination databases in Amazon Redshift

 9. 移行データの確認Redshift クエリエディタ v2などで、Aurora のテーブルが想定どおりレプリケートされているかを確認します。

 10. refresh interval の設定（任意）リアルタイム同期が不要で費用を抑えたい場合は refresh interval を設定して更新間隔を制御します。
ALTER DATABASE <sample_integration_db> INTEGRATION SET REFRESH_INTERVAL 600;
600 秒（10 分）おきに同期する設定例。値に応じて費用と遅延のトレードオフを調整できます。

 DynamoDB との連携手順DynamoDB と Redshift のゼロ ETL 統合も同じような流れで設定できます。

Create a zero-ETL integration for DynamoDB - Amazon Redshift

 1. DynamoDB テーブルのポイントインタイムリカバリ (PITR) を有効化DynamoDB テーブルごとに ポイントインタイムリカバリ (PITR) を有効にします。

Enable point-in-time recovery in DynamoDB

 2. Redshift の認可設定Aurora のケースと同様、Redshift ワークグループにリソースベースポリシーを設定し、DynamoDB テーブルをプリンシパルとして認可します。

Configure authorization for your Amazon Redshift data warehouse

 3. DynamoDB ゼロ ETL 統合の作成コンソールのウィザードに従って DynamoDB テーブル -> Redshift の連携を設定します。

必要なポリシーが未設定であっても、「Fix it for me」オプションで自動的に設定できます。


 4. Redshift 上で宛先データベースを作成Aurora のケースと同様、対象のテーブルが複数あっても一括でレプリケーション状況をモニタできます。

 5. データ移行確認クエリエディタ v2 などから、DynamoDB のデータが正しく同期されていることを確認します。

 6. refresh interval の設定（任意）Aurora と同様に、refresh interval を設定して連携頻度を制御できます。
ALTER DATABASE <sample_integration_db> INTEGRATION SET REFRESH_INTERVAL 600;

 まとめ今回は、Aurora PostgreSQL・DynamoDB と Redshift を「ゼロ ETL」で連携する PoC を行いました。

設定自体は比較的シンプルであり、従来の ETL パイプラインを自作・運用するよりもスピーディーに導入できるのが大きなメリットです。ただし、本番運用においてはPostgreSQLのバージョンアップ等の対応が必要になるため、影響範囲の確認は必要です。
新サービスを活用することで工数を大幅に削減できるケースが増えており、日々の技術キャッチアップの大切さを改めて実感しました。今後も新しいサービスや機能を活用し、開発・運用コストの最適化を図っていきたいところです。