AWS Athena のパーティション射影(projection)

• S3のフォルダ(prefix)が日付ごとに分かれてるときとかにパーティションを自動でつけてくれる便利なやつ。
• パーティション分けすると余計なログを読み込まなくなるので、クエリ効率が上がってコスト的にも良い。
• https://docs.aws.amazon.com/ja_jp/athena/latest/ug/partition-projection.html

以下でハマった:

• projection.<column>.format と フォルダ名は合致している？
  • たとえば projection.hoge.type = 'date' で projection.hoge.format = 'yyyy-MM' にしていて、
  • フォルダ名が s3://some-bucket/logs/2024-9/somelogs/ みたいに月数をゼロ埋めしていない場合、読みってくれない。
  • この場合は 'yyyy-M' にしたりする必要がある
• 末尾に / 付いてる？
  • 単純ミスだけどハマった。
  • 'storage.location.template' = 's3://some-bucket/logs/${hoge}'だと読み取ってくれない気がする。
  • 'storage.location.template' = 's3://some-bucket/logs/${hoge}/' にしないと

末尾に / 付いてる？

これは嘘。ついててもついてなくても読み取れる。