🤖

【Ollama】ローカルLLMの性能測定してみた!!!

に公開

私たちの研究室

https://nisk.doshisha.ac.jp/

アドベントカレンダー7日目

https://nislab-advendcallender-2025.vercel.app/

背景

ローカルLLMをいじれる環境になったので、
手始めにその性能を測定してみようと思います!!!

ローカルLLMのPCスペック

今回使用するLLMが入ったPCのスペックです。

スペック
CPU Core i7-14700KF
RAM 128GB
GPU RTX 4000 Ada
VRAM 20GB
OS Ubuntu 24.04.3

ちなみにOllamaでLLMモデルをインストールしてます。

性能測定されるLLMモデルたち

・llama3.1

・qwen2.5-coder:7b

・qwen2.5-coder:14b

・gpt-oss:20b

・deepseek-coder:6.7b-instruct

PCのスペック的に20b以下のものを選びました。

性能測定するベンチマークたち

名前 問題数
HumanEval+ 164
MBPP+ 974

ベンチマーク実行

一応venvを作成して、そこで実行しました。

1. evalPlusをpipでインストールします。

evalPlusにHumanEval+とMBPP+が入ってます。
github経由で最新版をインストールしています。

pip install --upgrade "evalplus[vllm] @ git+https://github.com/evalplus/evalplus"

2. evalPlusに入っているevaluateを実行します。

--modelにはLLMモデル名
--datasetにはhumanevalかmbpp
humanevalを選択すると、humanevalとhumaneval+の結果が得られます(mbppも)

evalplus.evaluate \
  --model "llama3.1" \
  --dataset humaneval \
  --backend ollama \
  --base-url http://localhost:11434/v1 \
  --greedy

3. 10〜30分待つと、結果が出ます。

humaneval (base tests)
pass@1: 0.646
humaneval+ (base + extra tests)
pass@1: 0.561

手順は以上です。
意外と簡単でしょう?(笑)

性能測定結果

性能は「問題が解けた割合」で表されます。
例えば、HumanEvalの場合164問中で92問正解であると、0.561となります。
表ではわかりやすいようにパーセント表記にしました!

LLMモデル HumanEval+ MBPP+
llama3.1 56.1 65.6
qwen2.5-coder:7b 54.9 67.5
qwen2.5-coder:14b 70.7 74.4
gpt-oss:20b 80.8 85.1
deepseek-coder:6.7b-instruct 63.4 69.2

全部回すのに3時間くらい掛かりました。(^^;)
寝てる間に実行できるスクリプトを書くのが良いと思われます。

ローカルLLMはトークン使い放題なので、
ベンチマークも回し放題です。
簡単な質問ならちゃんと答えてくれるので、
皆さんも導入してみてはどうでしょうか。

ローカルLLM最強!!!!

NISLab 小板・小比賀 研究室

Discussion