🌊

Datadogでログからメトリクスを生成しログ料金を節約

に公開

問題

  • Datadogで、あるログを確認できるようにしたいが、大量に出力される可能性があり、料金が負担になる

緩和策

  • ログからメトリクスを生成し、ログは保存しないようにする
    • ログベースのメトリクスは、インジェストストリーム全体からログデータを要約するコスト効率の高い方法です。
      つまり、除外フィルターを使用して調査用に保存するアイテムを制限しても、15 か月間のすべてのログデータの傾向と異常を 10 秒の粒度で視覚化できます。
      https://docs.datadoghq.com/ja/logs/log_configuration/logs_to_metrics/

  • ↓メトリクスの生成方法

https://docs.datadoghq.com/ja/logs/log_configuration/logs_to_metrics/

  • ログを保存しないようにする方法
    • ↓の「除外フィルター」

https://docs.datadoghq.com/ja/logs/log_configuration/indexes#除外フィルター

  • 例えば、ログのcontext等に何か値が入っていてその情報が重要な場合、その値からdistributionメトリクスを生成し、ウィジェットやmonitorで参照できるようにする
  • 毎月のログ料金は2025-04-30時点で下記
    • 取り込み: $0.13/GB
    • Index: $2.13/100万ログイベント(保存期間15日間の場合)

https://www.datadoghq.com/ja/pricing/?product=log-management#products

  • 除外フィルターで100%除外した場合、対象ログのIndex分の料金がかからなくなる
    • 取り込み料金はかかる
  • 基本的には100%除外しておいて、調査で必要になったら10%出す、といったこともできる
    • フィルターで条件を指定することもできる

Discussion