Closed2024/02/28にクローズ5

Running Airflow in Docker

Docker

Airflow

hyamakaw

airflowをlocalで動かすときは

docker compose up

が基本

hyamakaw

依存関係の追加

docker-compose.yamlのbuild: .をコメントアウトすることで、同じディレクトリ内Dockerfileからimageがビルドされる。

Dockerfileからrequirements.txtを読み込むことでcontainerにpythonの依存関係を追加できる。なおrequirements.txtをpipで読み込む際にはairflowのversionを指定した方が良い。
なぜならairflowのversionを指定する依存関係があった場合、競合が生じてしまうため。

hyamakaw

疑問 - 開発環境は常にDockerで管理すべきなのか？

現時点での考え
スニペットレベルの成果物以外ではYesでないか。

hyamakaw

FROM apache/airflow:2.8.2

RUN pip install poetry \
         && poetry install

うまくいかず。dependencyのinstall時にpermission errorが出現する

このスクラップは2024/02/28にクローズされました