Closed4
Langfuseのテレメトリ関連機能を試した
君津トレースを確認するのは以下のスクラップ通りにする
君津自動評価を試すにはSaaS版を利用すること
今回は無料の範囲でできる
君津プロンプト管理機能
プロンプトの作成
プロンプトの利用
langfuse = Langfuse()
prompt = langfuse.get_prompt("calculator", label="latest")
system_message = prompt.compile()
messages = [
{"role": "system", "content": system_message},
{"role": "user", "content": "1 + 1 = "},
]
completion = openai.chat.completions.create(
model=prompt.config["model"],
messages=messages,
langfuse_prompt=prompt,
)
トレースにプロンプトのバージョンが反映される
君津自動評価
SaaS版でパブリックベータとして提供
セルフホストでは使えない
APIキー画面でOpenAIのキーを登録
評価用のTemplate作成
組み込みのものでもいろいろある
評価の設定
先ほど作成したTemplateを選ぶ
実行すると自動で評価されスコアが紐づく
このスクラップは11日前にクローズされました