Zenn
💡

KubernetesExecutorとは？

2025/03/12に公開
Kubernetes
Airflow
中野哲平
kubernetesexecutor
tech

1. はじめに

Apache Airflowはワークフローを管理する強力なツールであり、実行環境に応じてさまざまなExecutorを選択できます。その中でもKubernetesExecutorは、Kubernetes上で各タスクをPodとして動的に実行する機能を持つExecutorです。

KubernetesExecutorを活用することで、Airflowのスケーラビリティや柔軟性が向上し、大規模なデータパイプラインの運用が容易になります。

2. KubernetesExecutorの特徴

1. 各タスクが独立したPodとして実行される

KubernetesExecutorを使用すると、Airflowの各タスクは個別のKubernetes Podとして実行されます。そのため、タスクのリソース管理が柔軟に行え、並列実行性能が向上します。

2. スケーラブルなタスク実行

Kubernetesクラスタのオートスケーリング機能を活用し、負荷に応じてリソースを増減できます。これにより、以下のようなメリットがあります。

  • 必要な時に必要な分だけコンピュートリソースを確保
  • クラスタの負荷が低いときはリソースを解放し、コスト削減

3. 異なる環境でのタスク実行が可能

タスクごとに異なるDockerイメージを使用できるため、

  • 異なるPythonバージョンやライブラリを利用
  • MLモデルの学習タスクにはGPU対応のコンテナを使用
  • ビッグデータ処理にはSparkコンテナを活用
    など、用途に応じた環境の最適化ができます。

4. Kubernetesネイティブの機能と統合

Kubernetesの以下の機能と統合することで、より安定した運用が可能になります。

  • **RBAC（Role-Based Access Control）**による権限管理
  • Namespace分離による環境の分割
  • Podのログ・監視（Kubernetes API, Prometheus, Grafana との統合）

3. KubernetesExecutor の仕組み

KubernetesExecutorを使うと、Airflowのワーカーが存在しない代わりに、スケジューラーがタスクごとに新しいPodを作成して実行します。

  1. Airflow Scheduler が DAGのタスクをスケジューリング
  2. Kubernetes API にリクエストを送り、Pod を作成
  3. Kubernetes 上で Pod が立ち上がり、タスクを実行
  4. タスク完了後、Pod が削除される

このアプローチにより、クラスタのリソースを効率的に使用できます。

4. KubernetesExecutorの設定方法

1. Airflowの設定ファイル（airflow.cfg）を編集 

[core]
executor = KubernetesExecutor

[kubernetes]
pod_template_file = /path/to/pod_template.yaml
namespace = airflow
worker_container_repository = my-airflow-worker
worker_container_tag = latest

2. Kubernetesのデプロイメント設定

AirflowをKubernetes上で動作させるには、Helmを使用するのが一般的です。

helm repo add apache-airflow https://airflow.apache.org
helm install airflow apache-airflow/airflow --set executor=KubernetesExecutor

5. KubernetesExecutor の活用例

1. データ処理ワークフローの実行

  • ETL処理をKubernetesクラスタで並列実行
  • 各処理ステップを異なるPodで実行し、スケールさせる

2. 機械学習のトレーニング

  • GPUリソースを活用したMLモデルのトレーニング
  • タスクごとに異なる環境を設定し、バージョン管理を容易に

3. CI/CD パイプラインの自動化

  • KubernetesExecutorを利用してビルド・デプロイを実行
  • Kubernetes Secrets と連携して認証情報を管理

6. まとめ

KubernetesExecutorは、スケーラビリティ、リソース管理の柔軟性、Kubernetesとの親和性を活かして、Airflowのワークフローを大規模に管理するのに最適な選択肢です。

特に、機械学習やビッグデータ処理、クラウドネイティブなアプリケーションを扱うプロジェクトでは、リソース効率の最適化に大きく貢献します。

Airflowの導入やKubernetesExecutorの活用方法について、さらに詳しく知りたい方はぜひコメントしてください！

Discussion