Open4
AlpacaEval で引っかかった諸々の問題をメモ
アザラシRate Limit に引っかかったが、OpenAI API の Tier が低すぎたのが問題だった。
50$分まで課金して Tier 2 まで上げたら解決した。
アザラシtogether.ai の API を用いる場合も普通に登録するだけだと Tier が足りなかった。こっちはクレジットカードを登録するだけで 600RPM になり、足りるようになった
あと together.ai の API を alpaca_eval で使う場合、 OPENAI_API_KEY という環境変数に together.ai の API を書けばいい
アザラシREADME にはデフォルトの annotator (weighted_alpaca_eval_gpt4_turbo) を使うと 10 USD 未満で出来るようになったと書かれているが、今の自分の環境では 15 USD 程度かかってしまう。
alpaca_eval_gpt4_turbo_fn も同じくらいの値段かかる。
README の evaluator の表は参考にして良いのかすら分からないくらいだが、それによると alpaca_eval_llama3_70b_fn がかなり安そうで、 human agreement も良い。ただし、長い出力を好む傾向が他より強いので注意が必要。
試した結果、 1.1 USD/回 だった & 今のところ weighted_alpaca_eval_gpt4_turbo や alpaca_eval_gpt4_turbo_fn と評価があまり変わらなかった。
試行錯誤時はこっちを使うのが良さそう。