Open6
Fluentbitでのメッセージを複数のストリームに分割する
[SERVICE]
Flush 1
Log_Level info
[INPUT]
Name dummy
Dummy {"message": "custom dummy"}
[OUTPUT]
Name stdout
Match *
[0] dummy.0: [1712308766.990216601, {"message"=>"custom dummy"}]
[0] dummy.0: [1712308767.990075015, {"message"=>"custom dummy"}]
[0] dummy.0: [1712308768.990386055, {"message"=>"custom dummy"}]
INPUTにTagを追加
[SERVICE]
Flush 1
Log_Level info
[INPUT]
Name dummy
Dummy {"message": "custom dummy"}
Tag test
[OUTPUT]
Name stdout
Match *
[0] test: [1712309324.057924385, {"message"=>"custom dummy"}]
[0] test: [1712309325.057609645, {"message"=>"custom dummy"}]
[0] test: [1712309326.057677377, {"message"=>"custom dummy"}]
OUTPUT Formatをjson
[SERVICE]
Flush 1
Log_Level info
[INPUT]
Name dummy
Dummy {"message": "custom dummy"}
Tag test
[OUTPUT]
Name stdout
Match *
Format json
[{"date":1712309774.063992,"message":"custom dummy"}]
[{"date":1712309775.064214,"message":"custom dummy"}]
[{"date":1712309776.064248,"message":"custom dummy"}]
- パターンは3つ
- Fluent Bit のストリームプロセッシング
- Rewrite Tag フィルター
- Fluent Logger ライブラリ
- Rewrite Tag フィルターがリソースの消費量が多い
ストリームプロセッシング
- FargateでもS3に置いたconfigで設定を追加できる
- STREAM_TASKは[SERVICE]内でしか設定できないけど[SERVICE]も追加できるか?
コンテナの標準出力ログは、<コンテナ名>-firelens-<タスク ID> というタグが付けられています。つまり、コンテナ名が app で、タスク ID が dcef9dee-d960-4af8-a206-46c31a7f1e67 の場合、タグは app-firelens-dcef9dee-d960-4af8-a206-46c31a7f1e67 となります。