⚖️
LangSmith の evaluate で Compare View を直接開くリンクを作る方法
ポイントは "%2C" で繋ぐことです。最初 "%" だと勘違いしていて「あれ、うまくいかない何故...」となってました。
dataset_id = None
experiment_ids = []
for something in somethings:
result = evaluate(
lambda inputs, something=something: do_something(inputs, something),
data=dataset_name,
evaluators=evaluators,
summary_evaluators=summary_evaluators,
)
# dataset_id を取得しておく
dataset_id = result._manager.dataset_id
# ここで experiment の ID を取得
if result._manager._experiment.id is not None:
experiment_ids.append(result._manager._experiment.id.__str__())
SEED_URL = "https://smith.langchain.com/o/"
LANGCHAIN_TENANT_ID = os.getenv("LANGCHAIN_TENANT_ID", None)
experiment_ids_query_str = "%2C".join(experiment_ids)
url = f"{SEED_URL}{LANGCHAIN_TENANT_ID}/datasets/{dataset_id}/compare?selectedSessions={experiment_ids_query_str}"
print(url)
Discussion