Closed3
AWS Glue, AWS QuickSightを使ったデータ分析

手順
1. S3にぴよログデータをアップロード
2. AWS Glue Crawlerを使用してテーブルを作成
3. AWS Glueジョブでデータ整形
4. 整形されたデータをS3に保存
5. QuickSightでデータをインポート

1. S3にぴよログデータをアップロード
S3バケットを作って、rawディレクトリにデータファイルをアップロードする。
今回はtxtをUP。

2. AWS Glue Crawlerを使用してテーブルを作成
Glue Crawlerを設定して、S3バケット内のテキストファイルをスキャンし、データカタログにテーブルを作成します。
Glue Crawlerの設定:
- AWS Glueコンソールにアクセスし、「クローラー」を選択。
- 新しいクローラーを作成し、S3バケットのraw/フォルダをソースとして指定。
- 出力として新しいデータベースを作成し、クローラーを実行。
途中でIAMロール作成を求められる。
このIAMロールにS3へのアクセス権限を付与しておく必要がある。
このスクラップは2024/08/22にクローズされました