🗒️

BigQueryの メタデータってどこから見れるの?

2023/11/21に公開

what

  • BigQueryのメタデータの取得先について簡単にまとめたもの

BigQueryのメタデータ、調べることが出来るの?

A. 出来る
ということで、メタデータの主な取得先について記載していく

テーブル情報やレコード数

BigQueryにはINFORMATION_SCHEMAという、メタデータなどを保持しているビューが存在している。

これらを利用してメタデータを取得することが出来る。

ただし、テーブルの更新日やテーブルのデータ量については記録されていない
https://cloud.google.com/bigquery/docs/information-schema-intro?hl=ja

テーブルの更新日やデータ量については __TABLES__ を利用して調査することが出来る。
(ただし、これだけ公式ドキュメントに記載がない。少し謎)
https://techblog.gmo-ap.jp/2019/12/25/bigquery_table_meta_info/

TABLES スキーマ一覧】

カラム名 意味
project_id プロジェクト名
dataset_id データセット名
table_id テーブル名
creation_time テーブルの作成日(UNIXTIME)
last_modified_time テーブルの更新日(UNIXTIME)
row_count テーブルのレコード数
size_bytes テーブルサイズ
type テーブルタイプ。 通常のテーブルであれば1、viewテーブルなら2

クエリジョブ

クエリジョブといったものについてはJOBSビューというビューが存在しており、クエリの実行時間や、クエリ実行時に使われたデータ量を調べることが出来る。

https://cloud.google.com/bigquery/docs/information-schema-jobs?hl=ja

なお、このJOBビューを利用して「課金率の高いクエリ、低速なクエリを探す」といった事もできる。
https://qiita.com/na0/items/479307cc75b932c2731f

Discussion