uv init -p 3.12 deepeval-work && cd $_

uv add deepeval

+ deepeval==3.1.8

uv run deepeval login

🥳 Welcome to Confident AI, the DeepEval cloud platform 🏡❤️

 /$$$$$$$                                /$$$$$$$$                  /$$
| $$__  $$                              | $$_____/                 | $$
| $$  \ $$  /$$$$$$   /$$$$$$   /$$$$$$ | $$    /$$    /$$ /$$$$$$ | $$
| $$  | $$ /$$__  $$ /$$__  $$ /$$__  $$| $$$$$|  $$  /$$/|____  $$| $$
| $$  | $$| $$$$$$$$| $$$$$$$$| $$  \ $$| $$__/ \  $$/$$/  /$$$$$$$| $$
| $$  | $$| $$_____/| $$_____/| $$  | $$| $$     \  $$$/  /$$__  $$| $$
| $$$$$$$/|  $$$$$$$|  $$$$$$$| $$$$$$$/| $$$$$$$$\  $/  |  $$$$$$$| $$
|_______/  \_______/ \_______/| $$____/ |________/ \_/    \_______/|__/
                              | $$
                              | $$
                              |__/
  /$$$$$$  /$$                           /$$
 /$$__  $$| $$                          | $$
| $$  \__/| $$  /$$$$$$  /$$   /$$  /$$$$$$$
| $$      | $$ /$$__  $$| $$  | $$ /$$__  $$
| $$      | $$| $$  \ $$| $$  | $$| $$  | $$
| $$    $$| $$| $$  | $$| $$  | $$| $$  | $$
|  $$$$$$/| $$|  $$$$$$/|  $$$$$$/|  $$$$$$$
 \______/ |__/ \______/  \______/  \_______/




(open this link if your browser did not opend: https://app.confident-ai.com)
🔐 Enter your API Key:

🎉🥳 Congratulations! You've successfully logged in! 🙌
You're now using DeepEval with Confident AI. Follow our quickstart tutorial here:
https://documentation.confident-ai.com/getting-started/installation

from deepeval import assert_test
from deepeval.test_case import LLMTestCase, LLMTestCaseParams
from deepeval.metrics import GEval

def test_correctness():
    correctness_metric = GEval(
        name="Correctness",
        criteria="'actual output' が 'expected output' に基づいて、正しいかどうかを判断しなさい。",
        evaluation_params=[LLMTestCaseParams.ACTUAL_OUTPUT, LLMTestCaseParams.EXPECTED_OUTPUT],
        threshold=0.5
    )
    test_case = LLMTestCase(
        input="私は咳と発熱がずっと続いています。大丈夫でしょうか？",
        # 以下を実際のLLMの実行結果に置き換える
        actual_output=(
            "持続的な咳や発熱は、ウイルス感染症やより深刻な病気の可能性があります。症状が悪化したり、数日たっても"
            "改善が見られない場合は、医師の診察を受けてください。"
        ),
        expected_output=(
            "持続的な咳や発熱は、軽度のウイルス感染症から肺炎やCOVID-19などのより深刻な疾患まで、さまざまな病気"
            "の兆候である可能性があります。症状が悪化したり、数日以上持続したり、呼吸困難、胸の痛み、その他の懸念"
            "される症状を伴う場合は、医療機関を受診してください。"
        )
    )
    assert_test(test_case, [correctness_metric])

export OPENAI_API_KEY=XXXXXX

uv run deepeval test run test_example.py

.Running teardown with pytest sessionfinish...

==================================================== slowest 10 durations =====================================================
5.79s call     test_example.py::test_correctness

(2 durations < 0.005s hidden.  Use -vv to show these durations.)
1 passed, 3 warnings in 5.79s
                                                         Test Results
┏━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━┳━━━━━━━━━━━━━━━━━━━━━┳━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━┳━━━━━━━━┳━━━━━━━━━━━━━━━━━━━━━━┓
┃ Test case                         ┃ Metric              ┃ Score                             ┃ Status ┃ Overall Success Rate ┃
┡━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━╇━━━━━━━━━━━━━━━━━━━━━╇━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━╇━━━━━━━━╇━━━━━━━━━━━━━━━━━━━━━━┩
│ test_correctness                  │                     │                                   │        │ 100.0%               │
│                                   │ Correctness (GEval) │ 0.54 (threshold=0.5, evaluation   │ PASSED │                      │
│                                   │                     │ model=gpt-4o, reason=The actual   │        │                      │
│                                   │                     │ output partially aligns with the  │        │                      │
│                                   │                     │ expected output by mentioning     │        │                      │
│                                   │                     │ persistent cough and fever as     │        │                      │
│                                   │                     │ potential signs of viral          │        │                      │
│                                   │                     │ infections or more serious        │        │                      │
│                                   │                     │ illnesses. However, it lacks      │        │                      │
│                                   │                     │ specific details such as the      │        │                      │
│                                   │                     │ mention of pneumonia, COVID-19,   │        │                      │
│                                   │                     │ and additional symptoms like      │        │                      │
│                                   │                     │ breathing difficulties and chest  │        │                      │
│                                   │                     │ pain. The structure is similar,   │        │                      │
│                                   │                     │ but the omission of these details │        │                      │
│                                   │                     │ impacts the accuracy and          │        │                      │
│                                   │                     │ completeness of the information   │        │                      │
│                                   │                     │ provided., error=None)            │        │                      │
│ Note: Use Confident AI with       │                     │                                   │        │                      │
│ DeepEval to analyze failed test   │                     │                                   │        │                      │
│ cases for more details            │                     │                                   │        │                      │
└───────────────────────────────────┴─────────────────────┴───────────────────────────────────┴────────┴──────────────────────┘
Total estimated evaluation tokens cost: 0.0035050000000000003 USD
✓ Done 🎉! View results on
https://app.confident-ai.com/project/XXXXXXXXXX/evaluation/test-runs/XXXXXXXXXX/test-cases

export DEEPEVAL_RESULTS_FOLDER=./result

        actual_output=(
            "咳と発熱が長引く場合は自己判断せず医療機関を受診してください。特に一週間以上症状が続く、三日以上熱が"
            "下がらない、呼吸困難や胸痛、血痰が見られる、あるいは糖尿病や心疾患などの基礎疾患がある場合は、内科"
            "もしくは呼吸器内科への受診が必要です。お大事になさってください。"
        ),

uv run deepeval test run test_example.py

FRunning teardown with pytest sessionfinish...

========================================================== FAILURES ===========================================================
______________________________________________________ test_correctness _______________________________________________________
(snip)
.venv/lib/python3.12/site-packages/deepeval/evaluate/evaluate.py:169: AssertionError
==================================================== slowest 10 durations =====================================================
8.31s call     test_example.py::test_correctness

(2 durations < 0.005s hidden.  Use -vv to show these durations.)
=================================================== short test summary info ===================================================
FAILED test_example.py::test_correctness - AssertionError: Metrics: Correctness (GEval) (score: 0.48179029509151006, threshold: 0.5, strict: False, error: None, reas...
1 failed, 3 warnings in 8.41s
                                                         Test Results
┏━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━┳━━━━━━━━━━━━━━━━━━━━━┳━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━┳━━━━━━━━┳━━━━━━━━━━━━━━━━━━━━━━┓
┃ Test case                         ┃ Metric              ┃ Score                             ┃ Status ┃ Overall Success Rate ┃
┡━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━╇━━━━━━━━━━━━━━━━━━━━━╇━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━╇━━━━━━━━╇━━━━━━━━━━━━━━━━━━━━━━┩
│ test_correctness                  │                     │                                   │        │ 0.0%                 │
│                                   │ Correctness (GEval) │ 0.48 (threshold=0.5, evaluation   │ FAILED │                      │
│                                   │                     │ model=gpt-4o, reason=The actual   │        │                      │
│                                   │                     │ output and expected output both   │        │                      │
│                                   │                     │ emphasize the importance of       │        │                      │
│                                   │                     │ seeking medical attention for     │        │                      │
│                                   │                     │ persistent cough and fever, and   │        │                      │
│                                   │                     │ mention specific symptoms that    │        │                      │
│                                   │                     │ warrant a doctor's visit.         │        │                      │
│                                   │                     │ However, the actual output lacks  │        │                      │
│                                   │                     │ the broader context of potential  │        │                      │
│                                   │                     │ diseases like pneumonia or        │        │                      │
│                                   │                     │ COVID-19 mentioned in the         │        │                      │
│                                   │                     │ expected output. Additionally,    │        │                      │
│                                   │                     │ the actual output includes more   │        │                      │
│                                   │                     │ specific guidance on when to see  │        │                      │
│                                   │                     │ a specialist, which is not        │        │                      │
│                                   │                     │ present in the expected output.   │        │                      │
│                                   │                     │ This results in structural and    │        │                      │
│                                   │                     │ content discrepancies, affecting  │        │                      │
│                                   │                     │ completeness and alignment.,      │        │                      │
│                                   │                     │ error=None)                       │        │                      │
│ Note: Use Confident AI with       │                     │                                   │        │                      │
│ DeepEval to analyze failed test   │                     │                                   │        │                      │
│ cases for more details            │                     │                                   │        │                      │
└───────────────────────────────────┴─────────────────────┴───────────────────────────────────┴────────┴──────────────────────┘
Total estimated evaluation tokens cost: 0.0040625 USD
Results saved in ./result as 20250625_003021
✓ Done 🎉! View results on
https://app.confident-ai.com/project/XXXXXXXXXX/evaluation/test-runs/XXXXXXXXXX/compare-test-resu
lts

tree result/

result/
└── 20250625_003021

1 directory, 1 file

cat result/20250625_003021 | jq -r .

{
  "testFile": "test_example.py",
  "testCases": [
    {
      "name": "test_correctness",
      "input": "私は咳と発熱がずっと続いています。大丈夫でしょうか？",
      "actualOutput": "咳と発熱が長引く場合は自己判断せず医療機関を受診してください。特に一週間以上症状が続く、三日以上熱が下がらない、呼吸困難や胸痛、血痰が見られる、あるいは糖尿病や心疾患などの基礎疾患がある場合は、内科もしくは呼吸器内科への受診が必要です。お大事になさってください。",
      "expectedOutput": "持続的な咳や発熱は、軽度のウイルス感染症から肺炎やCOVID-19などのより深刻な疾患まで、さまざまな病気の兆候である可能性があります。症状が悪化したり、数日以上持続したり、呼吸困難、胸の痛み、その他の懸念される症状を伴う場合は、医療機関を受診してください。",
      "success": false,
      "metricsData": [
        {
          "name": "Correctness (GEval)",
          "threshold": 0.5,
          "success": false,
          "score": 0.48179029509151006,
(snip)

あなたは、法律文書を簡潔かつ正確に要約するAIアシスタントです。
以下の法律文書から、要点を捉えた要約を生成してください。
不必要な詳細は省き、中立性を保ち、提供されたテキスト以外の解釈は避けてください。

from openai import OpenAI

client = OpenAI()

class Llm:
    def __init__(
            self,
            system_prompt: str = """
            あなたは、法律文書を簡潔かつ正確に要約するAIアシスタントです。
            以下の法律文書から、要点を捉えた要約を生成してください。
            不必要な詳細は省き、中立性を保ち、提供されたテキスト以外の解釈は避けてください。
            """,
            model: str = "gpt-4o-mini"
        ):
        self.model = model
        self.system_prompt = system_prompt
   
    def summarize(self, input: str) -> str:
        response = client.chat.completions.create(
            model=self.model,
            messages=[
                {"role": "system", "content": self.system_prompt},
                {"role": "user", "content": input}
            ]
        )
        return response.choices[0].message.content

document_content = """
サービス契約本書サービス契約（以下「本契約」といいます）は、2025年1月28日に、デラウェア州に
登記された株式会社Acme Solutions, Inc.（以下「提供者」といいます）と、カリフォルニア州に
登記された有限責任会社BetaCorp LLC（以下「クライアント」といいます）との間で締結されます。

1. サービス: 提供者は、別紙Aに定めるソフトウェア開発およびコンサルティングサービスを提供
   します。サービスは2025年2月1日に開始され、書面による延長がない限り、2025年8月1日までに
   完了するものとします。
2. 報酬: クライアントは、プロバイダーに対し、$50,000の固定料金を支払います。支払いは、
  2025年2月1日を初回として、毎月1日に$10,000ずつ、5回に分けて支払われます。
  ...
  ...
  ...

署名: 
Acme Solutions, Inc.
BetaCorp LLC
"""

llm = Llm()
summary = llm.summarize(document_content)
print(summary)

サービス契約（以下「本契約」といいます）は、2025年1月28日に株式会社Acme Solutions, Inc.（提供者）と有限責任会社BetaCorp LLC（クライアント）との間で締結されます。

1. **サービス内容**: 提供者は別紙Aに基づくソフトウェア開発およびコンサルティングサービスを提供し、2025年2月1日に開始、2025年8月1日までに終了します。
   
2. **報酬**: クライアントは提供者に対し、固定料金$50,000を支払い、2025年2月1日から毎月1日に$10,000ずつ5回に分けて支払います。

署名欄にはそれぞれの企業名が記載されます。

from deepeval import assert_test
from deepeval.test_case import LLMTestCaseParams
from deepeval.metrics import GEval


concision_metric = GEval(
    name="Concision",
    criteria="'actual output' が 必要な情報を全て保持しながら簡潔であるかどうかを評価してください。",
    evaluation_params=[LLMTestCaseParams.ACTUAL_OUTPUT],
    threshold=0.5
)

from deepeval.metrics import GEval
from deepeval.test_case import LLMTestCaseParams

completeness_metric = GEval(
    name="Completeness",
    criteria="実際の出力が入力からの重要な情報をすべて保持しているかどうかを評価します。",
    evaluation_params=[LLMTestCaseParams.INPUT, LLMTestCaseParams.ACTUAL_OUTPUT],
)

from deepeval import evaluate
from deepeval.test_case import LLMTestCaseParams, LLMTestCase
from deepeval.metrics import GEval
from deepeval.dataset import EvaluationDataset
from openai import OpenAI
import pandas as pd

client = OpenAI()

class Llm:
    def __init__(
            self,
            system_prompt: str = """
            あなたは、法律文書を簡潔かつ正確に要約するAIアシスタントです。
            以下の法律文書から、要点を捉えた要約を生成してください。
            不必要な詳細は省き、中立性を保ち、提供されたテキスト以外の解釈は避けてください。              
            """,
            model: str = "gpt-4o-mini"
        ):
        self.model = model
        self.system_prompt = system_prompt
   
    def summarize(self, input: str) -> str:
        response = client.chat.completions.create(
            model=self.model,
            messages=[
                {"role": "system", "content": self.system_prompt},
                {"role": "user", "content": input}
            ]
        )
        return response.choices[0].message.content

# 評価指標の定義
concision_metric = GEval(
    name="Concision",
    criteria="'actual output' が 必要な情報を全て保持しながら簡潔であるかどうかを飄香してください。",
    evaluation_params=[LLMTestCaseParams.ACTUAL_OUTPUT],
    threshold=0.5
)

completeness_metric = GEval(
    name="Completeness",
    criteria="実際の出力が入力からの重要な情報をすべて保持しているかどうかを評価します。",
    evaluation_params=[LLMTestCaseParams.INPUT, LLMTestCaseParams.ACTUAL_OUTPUT],
)

# データセットの読み込み
df = pd.read_json("CUDAv1_ja.jsonl", lines=True)
docs = df["context_ja"].tolist()  # context_jaカラムに日本語の契約書テキストが入っている。

# ドキュメントをLLMで要約して、テストケースに変換
llm = Llm() # 要約するLLMのインスタンスを作成
test_cases = [LLMTestCase(input=doc, actual_output=llm.summarize(doc)) for doc in docs]

# 評価データセットを作成
dataset = EvaluationDataset(test_cases=test_cases)

# 評価を実行
evaluate(dataset, metrics=[concision_metric, completeness_metric])

uv run test_summary.py

✨ You're running DeepEval's latest Concision (GEval) Metric! (using gpt-4o, strict=False, async_mode=True)...
✨ You're running DeepEval's latest Completeness (GEval) Metric! (using gpt-4o, strict=False, async_mode=True)...
Evaluating 5 test case(s) in parallel ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━   0% 0:00:06
    🎯 Evaluating test case #0        ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━   0% 0:00:06
    🎯 Evaluating test case #1        ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━╺━━━━━━━━━━━━━━━━━━━━━━━━━━━━━  50% 0:00:06
    🎯 Evaluating test case #2        ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━   0% 0:00:06
    🎯 Evaluating test case #3        ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━╺━━━━━━━━━━━━━━━━━━━━━━━━━━━━━  50% 0:00:06
    🎯 Evaluating test case #4        ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━   0% 0:00:05

======================================================================

Overall Metric Pass Rates

Concision (GEval): 100.00% pass rate
Completeness (GEval): 100.00% pass rate

======================================================================


✓ Tests finished 🎉! Run 'deepeval view' to analyze, debug, and save evaluation results on Confident AI.

あなたは、法律文書を簡潔かつ正確に要約するAIアシスタントです。
以下の法律文書から、要点を捉えた要約を生成してください。
不必要な詳細は省き、中立性を保ち、提供されたテキスト以外の解釈は避けてください。

あなたは、法的文書を簡潔かつ正確に要約する AI アシスタントです。
以下の法律文書から、要点を捉えた要約を作成してください。
できるだけ簡潔に、ただし文書から詳細を一切省略しないでください。
中立性を保ち、提供されたテキスト以外の解釈は避けてください。

model = "gpt-4o-mini"
system_prompt = """
あなたは、法的文書を簡潔かつ正確に要約する AI アシスタントです。
以下の法律文書から、要点を捉えた要約を作成してください。
できるだけ簡潔に、ただし文書から詳細を一切省略しないでください。
中立性を保ち、提供されたテキスト以外の解釈は避けてください。
"""

llm = Llm(model=model, system_prompt=system_prompt)
(snip)

(snip)

evaluate(
    dataset,
    metrics=[concision_metric, completeness_metric],
    hyperparameters={
        "model": model,
        "system_prompt": system_prompt
    }
)

uv run test_summary.py 

======================================================================

Overall Metric Pass Rates

Concision (GEval): 100.00% pass rate
Completeness (GEval): 100.00% pass rate

======================================================================

(snip)
evaluate(
    dataset,
    metrics=[concision_metric, completeness_metric],
    hyperparameters={
        "model": model,
        "prompt_template": system_prompt
    }
)

(snip)
system_prompt = """
あなたは、文書を適当に要約する AI アシスタントです。
以下の文書から、雑な要約を作成してください。あえて嘘を入れてください。
"""
(snip)

======================================================================

Overall Metric Pass Rates

Concision (GEval): 100.00% pass rate
Completeness (GEval): 20.00% pass rate

======================================================================