airflowことはじめ

airflow とは

• https://airflow.apache.org/
• いわゆるジョブスケジューラー
• Apache Software Foundation 運営

使い方

ローカルで立てる

docker run --rm \
  --name airflow \
  --entrypoint /bin/bash \
  -it \
  -p 8080:8080 \
  -v $PWD:/root/airflow/dags \
  python:latest

https://airflow.apache.org/docs/stable/start.html
これにしたがって進めていく。

pip3 install apache-airflow
airflow initdb
airflow webserver -p 8080 &
airflow scheduler &

mytutorial.py

~/airflow/dags/mytutorial.py
を https://airflow.apache.org/docs/stable/tutorial.html に倣って作る。

ブラウザで http://localhost:8080/ を開いてみる。mytutorial があることがわかる。
DAG の名前は mytutorial.py で指定するので注意。
最初から tutorial という DAG が存在するので混乱の元。