Qwen3-Coder + Claude Code + Anthropic API + llama.cpp 試したけど現状遅い
Claude code + ローカル LLM 使いたい...
ちょうど llama.cpp で Anthropic API 対応したので,
Qwen3-Coder 30B A3 + 9070xt(16GB, Vulkan)を試した.
しかし遅い...
GPU で 220 toks/sec くらいは出るけど, システムプロンプトだけで 10K+ はすでにあり, システムプロンプトの処理(prompt processing)で最初に10分くらいかかったり(llama.cpp の場合は 256 tokens ごとにバッチ処理するので, 10K だと 512 回くらいも呼ぶ必要がある!),その後も一回反応あるまで 20~30 秒かかって, 通常の(?) Opus 4.5 とかのレスポンスは得られず
(本家はつよつよ GPU 使っているのか, ASIC/FPGA 使っているのか, はてはなにかシステムプロンプトのうまい処理をなにかしとるんやろかね)
カスタムの軽量システムプロンプトを claude code に指定すればいくらか改善はあるか?
CLI はいくつか出てきているけど, 現状まともにつかるのは Claude Code(時点で Codex)という感じなのでできれば Claude code をそのまま使いたいところ.
OpenCode や Qwen-code とかの cli の成熟を待つか,
llama.cpp の改善(GPU での long context 処理の改善)を待つか...
生成されるコードは Q3 ~ Q4 でもそれなりにまともな感じなので,
コンテナで yolo モードで時間かけてでもいいので寝ているあいだにゆっくり処理し, ユニットテストやリファクタ, プログラム最適化(最適化パラメータ探索)などの用途に使うのがしばらくになるでしょうか.
Qwen-code で試す
qwen-code + llama.cpp 通常 API サーバで試した.
まあそこそこで動きはするけど, 5~7 tok/sec という感じで, qwen-code の free-tier とかに比べて 5~10 倍は遅い感じ.
さらなる高みへ
ChatGPT クンや Claude クンに聞いて
Discussion