🤖
【Ollama】ローカルLLMの性能測定してみた!!!
私たちの研究室
アドベントカレンダー7日目
背景
ローカルLLMをいじれる環境になったので、
手始めにその性能を測定してみようと思います!!!
ローカルLLMのPCスペック
今回使用するLLMが入ったPCのスペックです。
| スペック | |
|---|---|
| CPU | Core i7-14700KF |
| RAM | 128GB |
| GPU | RTX 4000 Ada |
| VRAM | 20GB |
| OS | Ubuntu 24.04.3 |
ちなみにOllamaでLLMモデルをインストールしてます。
性能測定されるLLMモデルたち
・llama3.1
・qwen2.5-coder:7b
・qwen2.5-coder:14b
・gpt-oss:20b
・deepseek-coder:6.7b-instruct
PCのスペック的に20b以下のものを選びました。
性能測定するベンチマークたち
| 名前 | 問題数 |
|---|---|
| HumanEval+ | 164 |
| MBPP+ | 974 |
ベンチマーク実行
一応venvを作成して、そこで実行しました。
1. evalPlusをpipでインストールします。
evalPlusにHumanEval+とMBPP+が入ってます。
github経由で最新版をインストールしています。
pip install --upgrade "evalplus[vllm] @ git+https://github.com/evalplus/evalplus"
2. evalPlusに入っているevaluateを実行します。
--modelにはLLMモデル名
--datasetにはhumanevalかmbpp
humanevalを選択すると、humanevalとhumaneval+の結果が得られます(mbppも)
evalplus.evaluate \
--model "llama3.1" \
--dataset humaneval \
--backend ollama \
--base-url http://localhost:11434/v1 \
--greedy
3. 10〜30分待つと、結果が出ます。
humaneval (base tests)
pass@1: 0.646
humaneval+ (base + extra tests)
pass@1: 0.561
手順は以上です。
意外と簡単でしょう?(笑)
性能測定結果
性能は「問題が解けた割合」で表されます。
例えば、HumanEvalの場合164問中で92問正解であると、0.561となります。
表ではわかりやすいようにパーセント表記にしました!
| LLMモデル | HumanEval+ | MBPP+ |
|---|---|---|
| llama3.1 | 56.1 | 65.6 |
| qwen2.5-coder:7b | 54.9 | 67.5 |
| qwen2.5-coder:14b | 70.7 | 74.4 |
| gpt-oss:20b | 80.8 | 85.1 |
| deepseek-coder:6.7b-instruct | 63.4 | 69.2 |
全部回すのに3時間くらい掛かりました。(^^;)
寝てる間に実行できるスクリプトを書くのが良いと思われます。
ローカルLLMはトークン使い放題なので、
ベンチマークも回し放題です。
簡単な質問ならちゃんと答えてくれるので、
皆さんも導入してみてはどうでしょうか。
ローカルLLM最強!!!!
Discussion