パイプライン概要

Datadogに送られたログをパースして、情報や属性を抽出しファセットとして利用ができるようになる。パイプラインを経由するログは、フィルターに合致するすべてのプロセッサーが順次適用されていく。

前処理

ログがパイプラインに入る前に発生する処理。予約済み属性に基づく操作を実行して、属性名にマッピングする。

予約済み属性
host, source, status, service, message等
特定の文字列が含まれるか、RFC5424(The Syslog Protocol)で属性が判断される。

パイプラインでは、Live tailプレビューからログがどうフィルターされるのか確認しながら独自のフィルタークエリを作成できる。
（フィルター後にプロセッサがあるため、パイプラインで抽出した属性を絞り込みは不可）

Datadogでインテグレーションを設定している場合、用意されているインテグレーションのためのパイプラインを用いて、各ソースに適した方法でログをパースする。
ユーザー側でインテグレーションパイプラインを設定することもできるが、Datadogで取り込んでいるログを判断して追加している動作をしている。

フィルタークエリによって選択されたログデータに対して、ログメッセージの変更、新しい属性の追加、既存のデータの変換、カスタムタグの付与などの処理を行う。

パイプラインをネストすることによって処理を２段階に分けることができる。第2レベルのフィルタリングを使うことができる。さらなる属性による絞り込みをしたい場合等。

パイプラインごとに推定された使用量のメトリクスを確認することができる。

インテグレーションパイプラインを使えば、ほとんどのサービスは独自のパイプラインを用意してあげる必要はなさそう。アプリケーションのログを収集する場合や分析をしたい場合に独自のパイプラインを作る。