aws-otel-collectorの概要を把握する

はじめに

aws-otel-collectorがどのようなものであるか分からなかったため、学習したことをまとめます。

https://github.com/aws-observability/aws-otel-collector

aws-otel-collectorとは、大まかに言うとAWS環境でのアプリケーションの監視(モニタリング)やトラブルシューティングを簡単にするためのツール。
以下に詳細な内容をまとめていきます。

aws-otel-collectorとは

自分のアプリケーションから発生する観測データをAWSサービスに送り届けるための収集・加工を行うツールです。

観測データとは何？
観測データとは、アプリケーションがどのように動いているかを理解するために必要な以下の3種類のデータのこと
①メトリクス：アプリケーションの動作状況を表す数値データ。
例：CPU使用率、メモリ使用量、リクエスト処理時間、エラー率

②ログ：アプリケーションの実行中に記録されるテキストデータ
例：誰がいつログインしたか、処理が開始・終了したか、エラーメッセージ

③トレース：ユーザーのリクエストが亜p類ケーション内の様々なサービスをどのように巡ったかを追跡するデータ。
例：Webサイトへのアクセスが、サーバーA -> サーバーB -> 外部APIという流れで処理された時間と経路

otelとは何？
otelはOpenTelemetry(オープン・テレメトリー)の略です。

• これは上記のメトリクス,ログ、トレースの3種類のデータを標準化された統一的な方法で収集・転送するための、世界中で使われているオープンソースのプロジェクト。
• OpenTelemetryを使うと、特定の会社に縛られずに、好きな監視ツールにデータを送ることができます。

aws-otel-collectorの役割

OpenTelemetryの技術を使って、アプリケーションから集めたデータをAWSの監視サービスへ簡単に送ります。

主な役割

• データの収集：アプリケーションからOpenTelemetry形式のデータを受け取ります。
• データの加工：データをAWSのサービスが理解できる形に変換したり、不要な情報をフィルタリングしたり、タグを更け加えたりする。
• データの転送：加工したデータをAWSの以下の監視サービスへ送ります。
  • Amazon CloudWatch：メトリクスやログの保存・分析に
  • AWS X-RAY：トレースの分析と可視化に
  • Amazon Managed Service for Prometheus：Prometheus形式のメトリクスの収集に。

簡単な利用例：ECS/EkSでメトリクスをCloudWatchへ送る

1. 動作イメージ

• ECS/EKSクラスター内の各コンテナやノードにaws-otel-collectorをデプロイします。
• 自身の実行環境(コンテナやホストOS)から**メトリクス(CPU、メモリ、ディスク使用率など)**を収集します。
• 収集したメトリクスを、Amazon CloudWatchへ転送します。

2. aws-otel-collectorの設定ファイル(yaml)

aws-otel-collectorは、yamlファイルで「何を集め、どう加工し、どこへ送るか」を定義します。

以下の設定は、ECS/EKS環境でインフラストラクチャメトリクスを収集し、CloudWatchへ送るための基本的な構成です。

receivers:
  # 1. データを「受け取る」設定
  # ECS/EKSのホストやコンテナの基本的なメトリクスを収集するレシーバー
  awsutil:
    # インフラストラクチャメトリクスを収集するよう指定
    collection_interval: 60s

processors:
  # 2. データを「加工する」設定
  # AWS固有のメタデータ（クラスタ名、サービス名など）を付与するプロセッサー
  # これにより、CloudWatchでどのリソースのメトリクスか識別しやすくなる
  awsattributes:

exporters:
  # 3. データを「送り出す」設定
  # メトリクスをAmazon CloudWatchへ送るためのエクスポーター
  awsemf:
    # CloudWatch Logsのグループ名を指定
    namespace: "Your-Application-Metrics"
    # メトリクスの詳細レベルを設定
    log_group_name: "otel-collector-metrics"

service:
  # 4. 収集・加工・転送の「パイプライン」設定
  pipelines:
    # メトリクスパイプラインの定義
    metrics:
      receivers: [awsutil]    # awsutilで受け取る
      processors: [awsattributes] # awsattributesで加工する
      exporters: [awsemf]     # awsemfで送り出す

※以下はコンポーネントの名前
awsuitl：AWS環境のホスト/コンテナのメトリクスを収集します。
awsattributes：AWS固有のメタデータをデータに追加します。
awsemf：データを Amazon CloudWatch へ転送します。

各設定項目の解説

セクション	役割	具体的な動作
receivers	データの入口	awsutilを使って、コレクターが動いている環境（ホスト、コンテナ）の基本的なCPUやメモリのメトリクスを受け取ります。
processors	データの中間処理	awsattributesを使って、ECS/EKSのクラスター名やタスクIDなどの情報をメトリクスに自動で追加します。
exporters	データの出口	awsemf (AWS Embedded Metric Format) を使って、メトリクスをまとめてAmazon CloudWatchへ転送します。
service	パイプライン	メトリクスという種類のデータは、awsutilで受け取り -> awsattributesで加工 -> awsemfで転送、という流れで処理することを定義します。

3. デプロイ方法(簡略)

1. コレクターのイメージ取得: AWSが提供する公式のDockerイメージを使用します。
   例: public.ecr.aws/aws-observability/aws-otel-collector:latest
2. 設定ファイルの準備: 上記のconfig.yamlファイルを準備します。
3. デプロイ:
   • ECSの場合: FargateまたはEC2で、コレクターをサイドカーコンテナとしてアプリケーションと同じタスク内にデプロイするか、Daemon Serviceとして各ホストにデプロイします。
   • EKSの場合: DaemonSetとしてデプロイし、各ノードのメトリクスを収集させます。

この設定ファイルとコンテナのデプロイを行うだけで、アプリケーションのホストメトリクスが自動的にCloudWatchのダッシュボードに表示されるようになります。

まとめ

• aws-otel-collector：アプリケーションから発生するメトリクス、ログ、トレースの観測データを統一された方法（OpenTelemetry）で収集します。
• AWS環境特有の情報を付与し、AWSのサービス（CloudWatch, X-Ray）に最適化された形式で転送します。
• AWS上で稼働するシステムの監視設定やトラブルシューティングが簡単に行えるようになります。