Open10
オブザーバビリティツールに入門した

Prometheus

Grafana

Prometheus Operator
そもそもkubernetes Operatorとは?
Kubernetesの運用や特定条件による制御をコード化しカスタムコントローラに組み込むことで、自動運用する仕組み。
prometheus Operator
- Prometheus OperatorをデプロイするとServiceMonitorやPrometheusといったカスタムなリソース定義(CRD)を生成
- デプロイした後は、kindにServiceMonitorやPrometheusを指定したオブジェクトをデプロイできるようになる
- ServiceMonitorには監視対象メトリクスのエンドポイントを設定できる
- Prometheus OperatorはServiceMonitorに設定されたエンドポイントを基にPrometheusのconfigを生成

Prometheus Node Exporter
nodeレベルのメトリクスを収集するのに利用。
【補足】mountPropagationとは?

kube-state-metrics
podレベルのメトリクスを収集するのに利用。

prometheus operator、node exporter、kube-state-metricsを組み合わせて使う

VictoriaMetrics
Prometheusのメトリクス長期保管を目的として利用。
長期保管としてだけでなく、Prometheusの代替としても使えるっぽい、、?
VictoriaMetrics は元々 Prometheus 向けのリモートストレージとして開発されましたが、その後 Prometheus と互換性のあるスクレイピングやアラート判定のためのコンポーネントが追加され、Prometheus の drop-in replacement として十分な機能があります*1。 また、最近はオペレーター実装も開発が進んでいます。そのため、オペレーターを使ってモニタリングを全体的に VictoriaMetrics に移行することとしました。

Grafana Loki

OpenTelemetry
OpenTelemetry Operator
Opentelemetry Operatorを導入してInstrumentationを作成(してごにょごにょ)することで、自動で計装をInjectしてくれるらしい。(便利)

Grafana Tempo
Grafana Lokiとアーキテクチャは似ている。
TraceQL