📊

AWSの可視化ツールを触ってみる

2021/04/17に公開

athena

”aws”

quicksight

tech

ベース

AWSの基礎を学ぼう特別編の特別編　最新サービスをみんなで AthenaとQuickSight にて実施している内容を元にまとめています。

Amazon Athena

Amazon S3上のデータに対して 標準SQL によるインタラクティブなクエリを投げて、データの分析を行うことができる サーバレス のサービス

Amazon Athena Federated Query

コネクタを自作することで普段業務で利用しているデータソースとの接続も可能になる
Lambdaを事前に作成して、Athenaから接続することでデータソースにクエリを発行することが可能になる
- AWS公式のにもコネクタは紹介されている
v2の利用可能なリージョンに注意
スキャンに対する課金となるので検索対象のデータが大きい場合は圧縮するとコストを軽くすることが可能
- 100MBを超えるサイズのデータを分析する場合には有効
  - Athenaのパーティショニングも選択肢もある
- GlueでCSVをparquet形式に変換も選択肢としてある

Amazon Athena Federated Queryの設定画面

Lambdaの新規作成

SAM用の定義

  AthenaDynamoDBConnector:
    Type: AWS::Serverless::Application
    Properties:
      Location:
        ApplicationId: arn:aws:serverlessrepo:us-east-1:292517598671:applications/AthenaDynamoDBConnector
        SemanticVersion: 2021.14.1
      Parameters: 
        # The name you will give to this catalog in Athena. It will also be used as the function name. This name must satisfy the pattern ^[a-z0-9-_]{1,64}$
        AthenaCatalogName: YOUR_VALUE
        # WARNING: If set to 'true' encryption for spilled data is disabled.
        # DisableSpillEncryption: 'false' # Uncomment to override default value
        # Lambda memory in MB (min 128 - 3008 max).
        # LambdaMemory: '3008' # Uncomment to override default value
        # Maximum Lambda invocation runtime in seconds. (min 1 - 900 max)
        # LambdaTimeout: '900' # Uncomment to override default value
        # The name of the bucket where this function can spill data.
        SpillBucket: YOUR_VALUE
        # The prefix within SpillBucket where this function can spill data.
        # SpillPrefix: 'athena-spill' # Uncomment to override default value