🦙

gpt-ossが遅かったollamaが速くなった？

に公開
Ollama
ローカル LLM
LM Studio
gpt-oss
tech

gpt-ossはOllamaでは遅かった

もう、昔の環境を残していないので、gpt-ossが出た当時に-20bを試した際、体感
2 token/s
くらいしか出ていなかった感覚がある。

で、 【ローカルLLM】Ollamaがアップデートで劇的に改善した話【gpt-oss】 を昨日見て、さっそく試しましたとさ。

環境

当時は

  • Win11 + wsl Ubuntu 24
  • wslには48G割り振り
  • RTX3060(12G) + RTX3050(6G)

今回は、

  • Rocky Linux 10 + Ubuntu 24 (KVM)
  • Ubuntuには56G割り振り
  • RTX3060(12G) + RTX3050(6G)
  • Ollama v0.11.10

ハードウェア的には何も変わっていないが、ソフトウェアはRockyをホストに、UbutuをゲストにGPUバススルーで動作。

設定

# systemctl edit ollama


[Service]
Environment="OLLAMA_HOST=0.0.0.0:11434"
Environment="OLLAMA_NEW_ESTIMATES=1"
Environment="OLLAMA_NEW_ENGINE=1"
Environment="CUDA_VISIBLE_DEVICES=0,1"

実測

上記サイトにて指定されている環境変数 OLLAMA_NEW_ESTIMATES を設定(=1 and =0)したものと、設定を抜いたもの (#) で確認してみました。

gpt-oss:latest(20b) (設定活性 OLLAMA_NEW_ESTIMATES=1)

$ ollama run gpt-oss:latest --verbose
>>> きれいな日本の湖の話をして
Thinking...
User: "きれいな日本の湖の話をして" -> They want a story about a beautiful Japanese lake.

(snip)

total duration:       3m54.724895393s
load duration:        154.863942ms
prompt eval count:    78 token(s)
prompt eval duration: 3.556247973s
prompt eval rate:     21.93 tokens/s
eval count:           1696 token(s)
eval duration:        3m51.013044545s
eval rate:            7.34 tokens/s

gpt-oss:latest(20b) (設定非活性 OLLAMA_NEW_ESTIMATES=0)

$ ollama run gpt-oss:latest --verbose
>>> きれいな日本の湖の話をして
Thinking...
The user writes in Japanese: "きれいな日本の湖の話をして" which translates to "Tell me about a beautiful Japanese lake." They likely want a story or description of a beautiful lake in Japan.

 (snip)

total duration:       2m35.673133886s
load duration:        158.304733ms
prompt eval count:    78 token(s)
prompt eval duration: 3.631642054s
prompt eval rate:     21.48 tokens/s
eval count:           1092 token(s)
eval duration:        2m31.882097919s

gpt-oss:latest(20b) (設定なし)

$ ollama run gpt-oss:latest --verbose
>>> きれいな日本の湖の話をして
Thinking...
The user says: "きれいな日本の湖の話をして" which translates: "Tell me about a beautiful Japanese lake." They want a story about a beautiful Japanese lake.

(snip)

total duration:       4m41.853222326s
load duration:        151.749034ms
prompt eval count:    78 token(s)
prompt eval duration: 3.628492172s
prompt eval rate:     21.50 tokens/s
eval count:           1967 token(s)
eval duration:        4m38.07205451s
eval rate:            7.07 tokens/s

変わりませんでした

あんまり変わらんやん。

と思ってReleaseログをあさってみると、0.11.8で、設定をデフォルトにしたで、とか書かれてまして。

おおぅ。なんてこったい。

LM Studio

同一環境でLM Studioを動かして同一プロンプトを実行させたときは以下。

43.24 token/s

うーん。

gemma3:12b (ついでに実行)

$ ollama run gemma3:12b --verbose
>>> きれいな日本の湖の話をして
はい、承知いたしました。日本には美しい湖がたくさんありますが、今回は特に有名な、そして美しい湖をいくつかご紹介しますね。

(snip)

total duration:       3m4.241878858s
load duration:        165.922461ms
prompt eval count:    15 token(s)
prompt eval duration: 809.707449ms
prompt eval rate:     18.53 tokens/s
eval count:           923 token(s)
eval duration:        3m3.265701782s
eval rate:            5.04 tokens/s

gemma3より速くなっているので、過去バージョンよりは速くはなっています。
それはもう、無残な遅さでしたので。

参考

【ローカルLLM】Ollamaがアップデートで劇的に改善した話【gpt-oss】
Ollamaサーバの設定方法（Linux）
Ollamaで使える環境変数

Discussion