こんにちは🐱
株式会社 Tsuzucle SPRING 開発事業部にフリーランスインフラエンジニアとして参画している はらしゅん です。
今回は、私がこれまで構築した Shopify と AWS / GCP と組み合わせたアーキテクチャを紹介したいと思います💡
事例1️⃣：Shopify with AWS, Mountpoint for Amazon S3, vsftpd
本アーキテクチャのポイント
- オンプレ基幹システムは、FTP プロトコルで商品情報 CSV を転送したいという要件だった
- そしてその商品情報 CSV は、Shopify に取り込ませるためにはデータ整形する必要があった
- [元 CSV を S3 で受信] -> [発火した Lambda で整形し、S3 にアウトプット] -> [整形後 CSV を S3 に取りに来てもらう] と考えたが、オンプレ基幹システムも Shopify も S3 に直接データ転送/取得させることはできなかった
- FTP（vsftpd）を導入した EC2 で CSV を送受信しなくてはいけなかった
- Mountpoint for Amazon S3 を使い、Linux 上のフォルダと S3 をマウントすることにより、S3 と Lambda による ETL の仕組みを実現できるようにした
所感
- タダ同然の月額ランニングコストで本アーキテクチャを組むことができて、自分でもビックリ🤑
事例2️⃣：Shopify with AWS & HULFT
本アーキテクチャのポイント
- HULFT を使い、基幹システムからの連携データ受信/送信を行っている
- 本アーキも事例１と同様に Mountpoint for Amazon S3 を使い、Linux 上のフォルダと S3 をマウントすることにより、S3 と Lambda による ETL の仕組みを実現できるようにした
所感
- HULFT は相変わらず良く出来てる
- APIGW, Lambda, S3 のデプロイには、Serverless Framework を活用した
事例3️⃣：Shopify with GCP & Airbyte
本アーキテクチャのポイント
- Airbyte という OSS を使って、Shopify 上のデータを Google BigQuery にデータ連携している
所感
- Airbyte、日本語情報はまだ少ないけど、とても良く出来てる
- データ連携の頻度、データ更新方法（差分、全件 etc..）GUI で簡単に設定できる
- GCP を久しぶりに触ったが、メトリクス・監視周りがとても進化していたと感じた
また事例が増え次第、この記事に追加していきたいと思います💡
お楽しみに🐶
Discussion