🔘
【データ分析】RDSのスナップショットをBigQueryにインポートし、Looker Studioで視覚化したい！
まず初めに
Webエンジニア兼事業開発者のTeruie Obataです。
タイトルにもあるように、今回はなぜRDSスナップショットをBigQueryにインポートし、Looker Studioで視覚化したいのか、その経緯と他に検討した方法をまとめたいと思います。
関連記事一覧
- 【第1章】スナップショットをS3にエクスポート ↓
- 【第2章】AWSとBigQueryの接続 ↓
- 【第3章】BigQueryとLooker Studioの接続 ↓
なぜやることになったのか
単純です.....AWSにデプロイしたRailsアプリのDBをLooker Studioで可視化したい！
という簡単な理由で今回やることになりました...
実際スプレッドシートからLooker Studioにデータを追加という運用をしてましたが、毎日スプレッドシートを用意する手間を考えると圧倒的に楽だと思ったからです。
他に検討した方法
Railsのgemを利用する
ユーザーごとにカスタマイズ性をもたすことがかなり難しかったので却下
VueやReactなどのフレームワークを利用する
フロントエンドはあまり得意ではなく学習コストが高そうだったので却下....← 勉強しろ！
Looker StudioとAWSを直繋ぎ
そもそも対応してなかった...
実際にやってみて
技術面
- インフラ周りは得意分野ではなかったがIAMの権限周り含め理解を格段と深めることができた。
- BigQueryとはなんぞや？を解消することができた。
- Looker Studioの使い方を学ぶことができた。
- 再度SQLを復習する機会ができた。
運用面
- 常に最新の情報をLooker Studioに出力できるのでリアルタイムでデータの可視化ができるようになった。
- データを用意してあげれば非エンジニアでもLooker Studioでダッシュボードを作成することができるようになった。
- BigQueryを介してデータを処理することで、今後データが増大した場合でも、詳細な分析が容易になると考えられる。
まとめ
やってみてわかったのですが自分の理解不足・知識不足を感じました...
過去に触れたことのない領域だったので正直不安はありましたが先人たちの知恵を借りて無事に実装することができました。
BigQueryを軽く触ってみて改めて出来ること多いなと...まだまだ学習が必要そうです
ぜひ皆さん関連記事を参考に試してみてください！
Discussion