Vertex AI Pipeline

https://cloud.google.com/vertex-ai/docs/pipelines/introduction

前身のAI Platform Pipelinesは2024年7月にサービス終了ずみ。
https://cloud.google.com/ai-platform/pipelines/docs

Kubeflow Pipelinesのマネージドサービスと考えて間違いなさそう。
https://www.kubeflow.org/docs/components/pipelines/

1. Python形式でDAGを定義
2. IR YAMLと呼ばれるyaml形式に変換
3. yamlをKFPバックエンドへsubmit
4. KFPバックエンド上で実行
   https://www.kubeflow.org/docs/components/pipelines/getting-started/

基本k8s上で実行するが、Runnerを切り替えることでDockerやサブプロセス単位でもコンポーネントを実行可能。
Digdag的にシンプルに使うだけならSubprocessRunnerでOK？
https://www.kubeflow.org/docs/components/pipelines/user-guides/core-functions/execute-kfp-pipelines-locally/

local disk or cloud storage上にファイルの入出力をおく
https://kubeflow-pipelines.readthedocs.io/en/stable/source/dsl.html#kfp.dsl.Artifact