Closed14
Datadog ArchiveをBigQueryでみたい
R-Az本業のデータをみるので、スクショとかはなし
蹴躓いたとことかを自分用の後々のメモとして残す
R-Az
これでええやん
神
R-AzログはGCSに保存している
R-Az1.GCS のバケットを外部テーブルとして定義してクエリする
2.BigQuery Data Transfer Service で GCS から BigQuery ストレージへデータを転送し, 標準テーブルとしてクエリする
ってことだが、基本Datadogの過去ログは漁らないので、1を採択する
お金が勿体ないのと、Transferの待ちの時間を作りたくないので
今回は非エンジニアがクエリを書くので、パーティションを意識したクエリを書かせるのはな〜と思ったが、BiqQuery慣れてる人なので許してもらおう
R-Azこれを見ながらやる
R-Azテーブルの作成時には下記のような感じでワイルドカードにする必要がありそう
{バケット名}/logs/*
R-Azテーブルの作成で先に進めん…
Error while reading table: archive_external, error message: Cannot query hive partitioned data for table archive_external without any associated files.
データを1日分とかにしてもだめなんよな
R-Azdata-setのリージョンか？！
R-Az違った？
R-Azあーそれだ
data-setのリージョン揃えて、その上で1日分だけ抽出ならいけたわ…
でも1日ごとに調べるとかだと意味ないんだよなぁ…
R-Az一ヶ月単位が限界か…これどうにかならんかな…
R-Azあ、これCLIならいけるとかない？
R-Az
CLIなら行けるやん！
多分コンソールからだとコンソール側でタイムアウトで切られてたんかな…？
R-Az解決
このスクラップは1ヶ月前にクローズされました