ログ周りいろいろ触ってみる！fluent bit ~ firelensあたり

ログ収集ツール周りについて、知識が薄かったので雑にまとめる

そもそもログ収集ツールなんでいるんだっけ

ログ自体が必要なのは、システムの状態やユーザーの行動を記録したり、問題発生時の調査、事業の分析・改善、セキュリティ周りなどでいろいろ必要

現代だと、クラウドとかマイクロサービスなどの分散システムが主流となり、ログ収集の課題も多様化している。
例えば、

• マイクロサービスアーキテクチャやコンテナ化により、ログが複数のサーバーやサービスに分散
• アプリケーション数の増加とそれに伴ってログ量の増大
• 異なるフォーマットのログを統一的に扱う必要性
• アプリケーションはドメインロジックに集中して、ログ周りの関心ごとを減らすため

よく聞くツール

fluentd / fluent bitあたりが個人的によく聞く
(あまり他知らないので知っている方いれば教えて欲しい)

公式の比較

https://docs.fluentbit.io/manual/about/fluentd-and-fluent-bit

fluent bit 触ってみるサンプル

https://gist.github.com/yuucu/4db90a898c848fb354ef15f0e36d16e6

FireLensはECSのサイドカーコンテナとしてうごくログルーター、fluent bit的なイメージ