Open7

DeepSeek R1をローカルで動かしたい

こっこさんこっこさん

実行

w64devkit
$ ./llama-server.exe -m ../models/DeepSeek-R1-Distill-Qwen-14B-Q6_K.gguf
（中略）
main: server is listening on http://127.0.0.1:8080 - starting the main loop
srv  update_slots: all slots are idle
こっこさんこっこさん
load_tensors: offloading 48 repeating layers to GPU
load_tensors: offloading output layer to GPU
load_tensors: offloaded 49/49 layers to GPU

の表示はあるが、GPUのメモリ使用率は微動だにしない

こっこさんこっこさん

CUDA Toolkit 12.4をインストールしてみる
→ さすがに12.7をアンインストールしていないからか失敗する