🦔
Dagster Pipes
普段使ってるツールの使ってない機能を使ってみる Advent Calendar 2025です。
Dagster Pipes
通常のAsset(等)が動く環境とは別の環境、例えばAWS LambdaやECS、Sparkで処理を動かす仕組みです。
1.5でリリースされた機能で、もともとStep Launcherという仕組みがあった(今もある)のですが、それの後継という立ち位置なようです。
外部の環境を起動するだけであれば、その処理を書いても良いのですが、
- ログをDagster UIで通常のAsset同様に確認できる
- Dagsterとメタデータのやり取りができる
等のメリットがありそうです。‘
対応しているツール
2025/11現在
- AWS関係
- ECS
- EMR
- Glue
- Lambda
- Kubernetes
- Spark(Databricks/PySpark/DataProc)
-
他言語
- TypeScript
- Java
- Rust
また、自前で作る場合のドキュメントもあります。
試してみる(Pythonプロセス)
Pythonの別プロセスを起動するチュートリアルをやってみます。
ちょいちょいドキュメントそのままだと動かない箇所がありました(そのうち修正PR出します)。
準備
とその前に何はともあれScaffoldを作ります。
uvx create-dagster@latest project pipes
サンプルで使ってるのでPandasもインストールしておきます
uv add pandas
呼び出し側のAsset
pipes_subprocess_clientで対象のPythonコードを呼んでいるだけです。
import shutil
import dagster as dg
@dg.asset
def wrapper_asset(
context: dg.AssetExecutionContext, pipes_subprocess_client: dg.PipesSubprocessClient
):
external_python_code_path = dg.file_relative_path(__file__, "external_code.py")
result = pipes_subprocess_client.run(
command=[shutil.which("python"), external_python_code_path],
context=context,
).get_materialize_result()
context.log.info(f"main = #{result}")
return result
呼び出され側のPythonコード
external_code.pyとして以下のコードを記載します。
このコードでは、適当なDataFrameを作成して、
- 標準出力に件数を出力(標準出力の出方を見るため)
- context経由でログとし出力(contextの確認)
- メタデータとして件数を返す
とPipeからの情報のやり取りを色々な方法で確認してみます。
import pandas as pd
from dagster_pipes import PipesContext, open_dagster_pipes
def main():
with open_dagster_pipes():
orders_df = pd.DataFrame({"order_id": [1, 2], "item_id": [432, 878]})
total_orders = len(orders_df)
print(f"processing total {total_orders} orders")
# get the Dagster Pipes context
context = PipesContext.get()
context.log.info(f"processing total {total_orders} orders")
# send structured metadata back to Dagster
context.report_asset_materialization(metadata={"total_orders": total_orders})
main()
なお、チュートリアルでは
- mainの呼び出しがない
- open_dagster_pipesのContextがない
のですが、これらがないと処理が実行されなかったので追加しています。
実行
Dagster UIからwrapper_assetをMaterliazeします。

ログを見ると、
- ログとして件数が表示(processing~の箇所)
- メタデータとして件数が返ってる(main=~の箇所とMaterialized~の箇所)
と、Pipeの起動とログ・メタデータがDagsterがやり取り出来てることがわかります。
(またstdoutタブを見ると標準出力が表示されてることも確認できます)
Discussion