AlpacaEval の annotation のキャッシュを削除する方法

以下の手順に従って削除できます。

キャッシュの保存場所の確認

alpaca_eval --model_outputs 'example/outputs.json' を実行したときに出る以下のパスがキャッシュの保存場所です。

INFO:root:Saving annotations to `/path/to/your/cache/annotations_seed0_configs.json`

キャッシュの削除

このスクリプトの使用は自己責任で行ってください。

以下のコードを実行することでキャッシュを削除できます。

import json

# 再度評価し直したい outputs.json を取得
model_outputs_path = "example/outputs.json"
with open(model_outputs_path) as f:
    model_outputs = json.load(f)
outputs_to_remove = {output["output"] for output in model_outputs}

# キャッシュを削除
cache_path = "/path/to/your/cache/annotations_seed0_configs.json"
with open(cache_path) as f:
    cache = json.load(f)
new_cache = [c for c in cache if c["output_2"] not in outputs_to_remove]

# キャッシュを保存
with open(cache_path, "w") as f:
    json.dump(new_cache, f, indent=2)