📚
Cloud LoggingのログをBigQueryに保存して永続化する
TL;DR
Cloud Loggingの「ログルータ」ページから「シンクを作成」機能でBigQueryへログを保存します。
はじめに
Cloud Logging(ロギング)は、Google Cloudの様々なサービスのログを閲覧することができます。
ログは、「デフォルトのログ」と「監査ログ」に分かれており、「デフォルトログ」は50GBを超えると課金されます。
また、初期設定では時間が経つと削除されます。
- 「デフォルトログ」は 30日間
- 「監査ログ」は 90日間
Cloud Loggingのログが多くなると課金されるので、別の場所にもログを保存しておき、古いログが必要な時はそちらを参照するのがよさそうです。
Cloud Loggingは「Cloud Storage」や「BigQuery」にデータを保存する「シンク」機能があります。
一度設定すればログを保存し続けてくれるので、ログを永続化できます。
シンクを作成する
ここでは、「BigQuery」にデータをシンクします。
ドキュメントの通り進めるだけです。
「ログルータ」から「シンクを作成」を開きます。
「名前」には適当なものを付けます。(ここでは、sink_Logging_to_BigQuery)
「シンクの宛先」は、BigQueryで「新しいデータセットを作成する」を選択します。
BigQueryの保存先を作成します。
「データセットID」でBigQueryテーブルが作られるのでわかりやすいものにしましょう。
BigQueryは料金は読み取り量単位のため、「パーティション分割テーブルを使用」をチェックするのがおすすめです。
「シンクを作成」を実行しましょう。
流入したログをBigQueryに保存してくれます。
データ保存はゆっくり行われるので、のんびり待ちましょう。
以上です。
Discussion