🍕

Storage Transfer Service のイベントドリブン転送を試してみた

2023/09/08に公開

はじめに

こんにちは、クラウドエースデータML ディビジョン所属の寺内です。

データML ディビジョンでは、Google Cloud が提供しているデータ領域のプロダクトについて、新規リリースをキャッチアップするための調査報告会を毎週実施しています。
新規リリースの中でも、特に重要と考えるリリースを記事としてまとめ、本ページのように公開しています。

今回紹介するリリースでは、Storage Transfer Serviceにイベントドリブン転送という機能が追加されました。
本記事では、この機能の紹介と、実際にこの機能を使ってAWS S3 から Cloud Storage（以下、GCS と呼ぶ）へのイベントドリブン転送を試してみます。

1. リリース概要

今回ご紹介するリリースは2023年7月25日付で発表された Storage Transfer Serviceにおけるイベントドリブン転送という追加機能についてです。
この機能では、GCS、 AWS S3 等のファイル更新を検知して、自動的にGCS にファイルをコピーすることが可能です。

実際のリリースノートについては下記をご確認ください。

2. 前提知識 Storage Transfer Service とは

Storage Transfer Service は、オブジェクトやファイルのストレージシステム間で自動的にデータ転送を行うサービスです。AWS S3・Azure Storage 等、各種のストレージサービスからGCSにファイルを転送することが可能です。

GCS上のファイル操作は gsutil コマンドでも可能ですが、特に大容量のファイル転送をする際に適したサービスです。

Storage Transfer Service で使用可能なソース一覧

Google Cloud Storage
Amazon Simple Storage Service（Amazon S3）
S3 互換ストレージ
Azure Blob Storage（Azure Data Lake Storage Gen2 を含む）
一般公開または署名付きの HTTP および HTTPS URL
ファイルシステム

3. Storage Transfer イベントドリブン転送の概要

下記の公式ドキュメントに沿って説明します。

この機能では、ソースとなるバケットへのファイル追加・更新されたタイミングで、自動的にGCSにファイルを転送することができます。

AWS S3・GCS から GCS へのイベントドリブン転送がサポートされています。

4. 検証

検証概要
今回の検証では、AWS S3 から GCS へのファイル転送を実際に試し、設定の手順をご説明します。

4.1 事前準備

下記のリソースを作成します。

Google Cloud
- GCS
  - バケット作成
- Storage Transfer Service
  - 転送設定
AWS
- S3
  - バケット作成
  - イベント通知設定
- SQS
  - キュー作成

4.1.1 AWS S3 バケットの作成と設定

[step1]
AWS コンソールの検索バーでS3と検索し、S3を選択します。

s3_prepare_1

[step2]
バケットの画面で、作成のボタンを選択します。

s3_prepare_2

[step3]
今回はバケット名とAWSリージョン(ap-northeast-1)のみを指定します。

s3_prepare_3

4.1.2 AWS SQS キューの作成

[step1]
AWS コンソールの検索バーでSQSと検索し、SQSを選択します。

sqs_prepare_1

[step2]
キューの画面で、キューを作成を選択します。

sqs_prepare_2

[step3]
キューの名前を指定します。

sqs_prepare_3

[step4]
アクセスポリシーでアドバンストを選択します。
AWS, Resource の値は次のstep5で使用します。
sqs_prepare_4

[step5]
下記の JSON の AWS、Resource、S3_BUCKET_ARN の値を置き換えます。
S3_BUCKET_ARNの値はAWS コンソールのバケットの詳細ページの [プロパティ] タブで確認できます。

{
  "Version": "2012-10-17",
  "Id": "example-ID",
  "Statement": [
    {
      "Sid": "example-statement-ID",
      "Effect": "Allow",
      "Principal": {
        "Service": "s3.amazonaws.com"
      },
      "Action": "SQS:SendMessage",
      "Resource": "$(RESOURCE)",
      "Condition": {
        "StringEquals": {
          "aws:SourceAccount": "$(AWS)"
        },
        "ArnLike": {
          "aws:SourceArn": "$(S3_BUCKET_ARN)"
        }
      }
    }
  ]
}