🦔

Dagster Pipes

に公開

普段使ってるツールの使ってない機能を使ってみる Advent Calendar 2025です。

Dagster Pipes

https://docs.dagster.io/guides/build/external-pipelines

通常のAsset(等)が動く環境とは別の環境、例えばAWS LambdaやECS、Sparkで処理を動かす仕組みです。
1.5でリリースされた機能で、もともとStep Launcherという仕組みがあった(今もある)のですが、それの後継という立ち位置なようです。

外部の環境を起動するだけであれば、その処理を書いても良いのですが、

等のメリットがありそうです。‘

対応しているツール

2025/11現在

  • AWS関係
    • ECS
    • EMR
    • Glue
    • Lambda
  • Kubernetes
  • Spark(Databricks/PySpark/DataProc)
  • 他言語
    • TypeScript
    • Java
    • Rust

また、自前で作る場合のドキュメントもあります。

試してみる(Pythonプロセス)

Pythonの別プロセスを起動するチュートリアルをやってみます。

ちょいちょいドキュメントそのままだと動かない箇所がありました(そのうち修正PR出します)。

準備

とその前に何はともあれScaffoldを作ります。

uvx create-dagster@latest project pipes

サンプルで使ってるのでPandasもインストールしておきます

uv add pandas

呼び出し側のAsset

pipes_subprocess_clientで対象のPythonコードを呼んでいるだけです。

import shutil

import dagster as dg

@dg.asset
def wrapper_asset(
    context: dg.AssetExecutionContext, pipes_subprocess_client: dg.PipesSubprocessClient
):
    external_python_code_path = dg.file_relative_path(__file__, "external_code.py")

    result = pipes_subprocess_client.run(
        command=[shutil.which("python"), external_python_code_path],
        context=context,
    ).get_materialize_result()

    context.log.info(f"main = #{result}")

    return result

呼び出され側のPythonコード

external_code.pyとして以下のコードを記載します。

このコードでは、適当なDataFrameを作成して、

  1. 標準出力に件数を出力(標準出力の出方を見るため)
  2. context経由でログとし出力(contextの確認)
  3. メタデータとして件数を返す

とPipeからの情報のやり取りを色々な方法で確認してみます。

import pandas as pd
from dagster_pipes import PipesContext, open_dagster_pipes

def main():
    with open_dagster_pipes():
        orders_df = pd.DataFrame({"order_id": [1, 2], "item_id": [432, 878]})
        total_orders = len(orders_df)
        print(f"processing total {total_orders} orders")

        # get the Dagster Pipes context
        context = PipesContext.get()
        context.log.info(f"processing total {total_orders} orders")

        # send structured metadata back to Dagster
        context.report_asset_materialization(metadata={"total_orders": total_orders})

main()

なお、チュートリアルでは

  • mainの呼び出しがない
  • open_dagster_pipesのContextがない

のですが、これらがないと処理が実行されなかったので追加しています。

実行

Dagster UIからwrapper_assetをMaterliazeします。

ログを見ると、

  • ログとして件数が表示(processing~の箇所)
  • メタデータとして件数が返ってる(main=~の箇所とMaterialized~の箇所)

と、Pipeの起動とログ・メタデータがDagsterがやり取り出来てることがわかります。
(またstdoutタブを見ると標準出力が表示されてることも確認できます)

Discussion