1. 使用するデータ
- ユーザーの質問（user_input）
- 参照回答（reference）- 理想的な回答
- 検索されたコンテキスト（retrieved_contexts）- RAGシステムが取得した情報
2. 測定方法
- 参照回答を複数の「主張」（claims）に分解
- 各主張について、検索されたコンテキストから、その主張を導き出せるかをLLMが判断
- 検索されたコンテキストから導き出せる主張の割合を計算
3. 目的:
- 参照回答を作成するために必要な情報がどれだけ検索コンテキストに含まれているかを評価
- 参照コンテキスト（reference_contexts）の代わりに参照回答（reference）を使うことで、評価の手間を削減
4. スコアの解釈:
- 0～1の範囲（高いほど良い）
- 1に近いほど、検索コンテキストが参照回答のすべての主張をサポートできることを意味する

from ragas.dataset_schema import SingleTurnSample
from ragas.metrics import LLMContextRecall

sample = SingleTurnSample(
    user_input="Where is the Eiffel Tower located?",
    response="The Eiffel Tower is located in Paris.",
    reference="The Eiffel Tower is located in Paris.",
    retrieved_contexts=["Paris is the capital of France."], 
)

context_recall = LLMContextRecall(llm=evaluator_llm)
await context_recall.single_turn_ascore(sample)

    sample = SingleTurnSample(
        user_input="Where is the Eiffel Tower located?",
        response="The Eiffel Tower is located in Paris.",
        reference="The Eiffel Tower is located in Paris.",
        retrieved_contexts=[
            "Paris is the capital of France.",
            "東京は日本の首都です。",
            "アメリカはメキシコと接しています。",
            "苑田です。",
        ], 
    )

    context_recall = LLMContextRecall(llm=evaluator_llm)
    res = await context_recall.single_turn_ascore(sample)

    sample = SingleTurnSample(
        user_input="Where is the Eiffel Tower located?",
        response="The Eiffel Tower is located in Paris.",
        reference="The Eiffel Tower is located in Paris and was built in 1889.", # もっと詳細に記載
        retrieved_contexts=[
            "Paris is the capital of France.",
            "東京は日本の首都です。",
            "アメリカはメキシコと接しています。",
            "苑田です。",
        ], 
    )

1. 使用するデータ
- 検索されたコンテキスト（retrieved_contexts）- RAGシステムが取得した文脈情報
- 参照コンテキスト（reference_contexts）- 理想的な文脈情報（手動で用意された正解コンテキスト）
2. 評価方法
- LLMを使わず、文字列比較などの非LLMベースの類似度測定を使用
- 各参照コンテキストについて、検索されたコンテキストの中に十分に類似したものがあるかを判断
- カバーされている参照コンテキストの割合を計算
3. 値の範囲:
- 0～1の範囲（高いほど良い）
- 1に近いほど、検索されたコンテキストが参照コンテキストの情報を完全にカバーしていることを意味する

    sample = SingleTurnSample(
        retrieved_contexts=["Paris is the capital of France."], 
        reference_contexts=["Paris is the capital of France.", "The Eiffel Tower is one of the most famous landmarks in Paris."]
    )

    context_recall = NonLLMContextRecall()
    res = await context_recall.single_turn_ascore(sample)
    print(res)

    sample = SingleTurnSample(
        retrieved_contexts=["Paris is the capital of France."], 
        reference_contexts=[
            "Paris is the capital of France", 
            "The Eiffel Tower is one of the most famous landmarks in Paris.",
            "東京は日本の首都です。",
            "アメリカはメキシコと接しています。",
            "苑田です。",
        ]
    )