⚖️

LangSmith の evaluate で Compare View を直接開くリンクを作る方法

2024/04/24に公開

ポイントは "%2C" で繋ぐことです。最初 "%" だと勘違いしていて「あれ、うまくいかない何故...」となってました。

dataset_id = None
experiment_ids = []

for something in somethings:
    result = evaluate(
        lambda inputs, something=something: do_something(inputs, something),
        data=dataset_name,
        evaluators=evaluators,
        summary_evaluators=summary_evaluators,
    )

    # dataset_id を取得しておく
    dataset_id = result._manager.dataset_id

    # ここで experiment の ID を取得
    if result._manager._experiment.id is not None:
        experiment_ids.append(result._manager._experiment.id.__str__())

SEED_URL = "https://smith.langchain.com/o/"
LANGCHAIN_TENANT_ID = os.getenv("LANGCHAIN_TENANT_ID", None)
experiment_ids_query_str = "%2C".join(experiment_ids)

url = f"{SEED_URL}{LANGCHAIN_TENANT_ID}/datasets/{dataset_id}/compare?selectedSessions={experiment_ids_query_str}"

print(url)

Discussion