Closed3

AWS Glue, AWS QuickSightを使ったデータ分析

tttoltttol

手順

1.	S3にぴよログデータをアップロード
2.	AWS Glue Crawlerを使用してテーブルを作成
3.	AWS Glueジョブでデータ整形
4.	整形されたデータをS3に保存
5.	QuickSightでデータをインポート
tttoltttol

1. S3にぴよログデータをアップロード

S3バケットを作って、rawディレクトリにデータファイルをアップロードする。
今回はtxtをUP。

tttoltttol

2. AWS Glue Crawlerを使用してテーブルを作成

Glue Crawlerを設定して、S3バケット内のテキストファイルをスキャンし、データカタログにテーブルを作成します。

Glue Crawlerの設定:

  1. AWS Glueコンソールにアクセスし、「クローラー」を選択。
  2. 新しいクローラーを作成し、S3バケットのraw/フォルダをソースとして指定。
  3. 出力として新しいデータベースを作成し、クローラーを実行。

途中でIAMロール作成を求められる。
このIAMロールにS3へのアクセス権限を付与しておく必要がある。

このスクラップは2024/08/22にクローズされました