Datadogに送ったログのタグ欠損
mikutasIssue
7.17.0 / 6.17.0のCHANGELOG
"logs_config.tagger_warmup_duration"を構成することで、初期ログで kubernetes タグが失われるリスクを軽減できるようになりました。
"logs_config.tagger_warmup_duration"を設定すると、コンテナの最初のログの送信が遅れます。
デフォルト値は 0 秒です。修正はデフォルトで無効になっています。
すべてのタグを取得するには、"logs_config.tagger_warmup_duration"を 5 (秒) に設定するだけで十分です。
warmup導入PR
ドキュメント更新PR
ドキュメントの言及箇所
タガーの準備が整うまでログ エージェントを数秒間待機させるには、環境変数
DD_LOGS_CONFIG_TAGGER_WARMUP_DURATIONを使用して、待機する秒数を設定します。デフォルト値は 0 です。
mikutas5秒に設定しても欠損に遭遇した
10秒に設定しても欠損に遭遇した
mikutasいずれもHelmチャートを使う場合
環境変数で設定する
専用のvalueはない
agents.containers.agent.envで設定
ファイルで設定する
agents.useConfigMapに任意の文字列
agents.customAgentConfig.logs_config.tagger_warmup_durationに秒数
これでdatadog.yamlに設定が書かれて置かれる
mikutas関係あるのはこっちだったかもしれない
7.26.0 / 6.26.0のCHANGELOG
mikutasDD_LOGS_CONIFG_EXPECTED_TAGS_DURATION
DD_LOGS_CONFIG_TAGGER_WARMUP_DURATION
どっちかじゃなくて両方必要だった
前者は効果を確認できる（10mに設定中）
後者は効果出てないかもしれない（10に設定中＝10秒）
DD_TAGSでクラスター内の全員に一律付与しているタグはexpected_tags_durationによって欠けがなくなった
それでもタグの欠けがまったく起きなくなったわけではない
- account
- availability-zone
- aws_autoscaling_groupname
- region
- security-group
などEC2由来？のタグがないログが一部ある
発生タイミングはノード起動時
mikutasdatadog-agentのリポジトリで環境変数名そのまま検索してもだいたいヒットしないのは設定ファイルのキー名と接頭辞DD_を連結して組み立てているため