📚

Cloud LoggingのログをBigQueryに保存して永続化する

2024/06/27に公開

TL;DR

Cloud Loggingの「ログルータ」ページから「シンクを作成」機能でBigQueryへログを保存します。

はじめに

Cloud Logging(ロギング)は、Google Cloudの様々なサービスのログを閲覧することができます。
ログは、「デフォルトのログ」と「監査ログ」に分かれており、「デフォルトログ」は50GBを超えると課金されます。

また、初期設定では時間が経つと削除されます。

  • 「デフォルトログ」は 30日間
  • 「監査ログ」は 90日間

Cloud Loggingのログが多くなると課金されるので、別の場所にもログを保存しておき、古いログが必要な時はそちらを参照するのがよさそうです。

Cloud Loggingは「Cloud Storage」や「BigQuery」にデータを保存する「シンク」機能があります。
一度設定すればログを保存し続けてくれるので、ログを永続化できます。

シンクを作成する

ここでは、「BigQuery」にデータをシンクします。

ドキュメントの通り進めるだけです。
https://cloud.google.com/logging/docs/export/configure_export_v2?hl=ja

「ログルータ」から「シンクを作成」を開きます。


「名前」には適当なものを付けます。(ここでは、sink_Logging_to_BigQuery)
「シンクの宛先」は、BigQueryで「新しいデータセットを作成する」を選択します。


BigQueryの保存先を作成します。
「データセットID」でBigQueryテーブルが作られるのでわかりやすいものにしましょう。


BigQueryは料金は読み取り量単位のため、「パーティション分割テーブルを使用」をチェックするのがおすすめです。

「シンクを作成」を実行しましょう。

流入したログをBigQueryに保存してくれます。
データ保存はゆっくり行われるので、のんびり待ちましょう。

以上です。

Discussion