Closed4

Langfuseのテレメトリ関連機能を試した

Yunosuke YamadaYunosuke Yamada

プロンプト管理機能

プロンプトの作成

プロンプトの利用

langfuse = Langfuse()
prompt = langfuse.get_prompt("calculator", label="latest")

system_message = prompt.compile()
messages = [
    {"role": "system", "content": system_message},
    {"role": "user", "content": "1 + 1 = "},
]

completion = openai.chat.completions.create(
    model=prompt.config["model"],
    messages=messages,
    langfuse_prompt=prompt,
)

トレースにプロンプトのバージョンが反映される

Yunosuke YamadaYunosuke Yamada

自動評価
SaaS版でパブリックベータとして提供
セルフホストでは使えない

APIキー画面でOpenAIのキーを登録

評価用のTemplate作成
組み込みのものでもいろいろある

評価の設定
先ほど作成したTemplateを選ぶ

実行すると自動で評価されスコアが紐づく

このスクラップは2ヶ月前にクローズされました