🚚

AWS DataSyncでGCSからS3にデータを転送してみた

2025/03/08に公開

家族の写真をカメラで撮るのが趣味のひとつである。
大切な写真は消えてほしくないのでパブリッククラウドのオブジェクトストレージを利用している。
このたびGoogle Cloud StorageからS3 Glacier Deep Archiveへの引越しにAWS DataSyncを利用したのでまとめる。

AWS DataSyncとは

https://aws.amazon.com/jp/datasync/

Perplexityにまとめてもらうと

AWS DataSyncは、オンプレミスとAWSストレージサービス間、またはAWSストレージサービス間でのデータ移動を自動化、簡素化、高速化するオンラインデータ転送サービスです。このサービスは、大量のデータを安全かつ効率的に転送し、データ移行やバックアップなどのタスクを容易にします。

とのことで、導入事例を見るにオンプレからクラウドへデータを移行するときに使われそうなサービスである。

データの引越し作業

https://aws.amazon.com/jp/blogs/news/migrating-google-cloud-storage-to-amazon-s3-using-aws-datasync/

このドキュメントに従ってマネジメントコンソールをポチポチしたらあっという間に引越しできた。
平均5Gbpsくらいの速度で転送してくれ、1.5TBのデータを約45分で移行完了できた。
マネージドサービスがなかったらRaspberry Piを使ってgsutil rsyncコマンドあたりで移行しようかと思っていたので大幅な時間の節約になった。

Discussion