🦉
dockerコンテナでローカルLLMを試してみる
dockerコンテナでローカルLLMを試してみたのでその記録です
環境
mac
cpu onlyバージョンでコンテナを起動
docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
実行ログ
Unable to find image 'ollama/ollama:latest' locally
latest: Pulling from ollama/ollama
cc43ec4c1381: Pull complete
09d15ad7bde1: Pull complete
9221b216c988: Pull complete
23ebd81091c6: Extracting [==================================================>] 2.691GB/2.691GB
docker: failed to register layer: write /usr/lib/ollama/cuda_jetpack6/libcublasLt.so.12.6.1.4: no space left on device
Run 'docker run --help' for more information
容量がたりない...ので使っていないコンテナやイメージを削除してもう一度試します
削除コマンドについては以前書いたこちらを参照ください
コンテナにログイン
docker exec -it ollama bash
利用するモデルを選択
今回はサイズが小さいものを選択(容量が少ないので)
ほかにもたくさん提供されていました
ollama run gemma3:1b
実行ログ
root@4dbb1486b379:/# ollama run gemma3:1b
pulling manifest
pulling 7cd4618c1faf: 100% ▕█████████████████████████████████████████████████████████████████████████████████████████████▏ 815 MB
pulling e0a42594d802: 100% ▕█████████████████████████████████████████████████████████████████████████████████████████████▏ 358 B
pulling dd084c7d92a3: 100% ▕█████████████████████████████████████████████████████████████████████████████████████████████▏ 8.4 KB
pulling 3116c5225075: 100% ▕█████████████████████████████████████████████████████████████████████████████████████████████▏ 77 B
pulling 120007c81bf8: 100% ▕█████████████████████████████████████████████████████████████████████████████████████████████▏ 492 B
verifying sha256 digest
writing manifest
success
対話モードになるので、直接入力する
>>> Send a message (/? for help)
きづき
- dockerdiskに割り当てている容量が少ないとollamaイメージのビルドすらできない...
- モデルのサイズが小さいとできる精度の高さに限界がありそう
- 日本語はややおかしい文法になりがち
- 同じプロンプトでもモデルによって返答内容が違うので好みにあわせていろいろ選択できるのは便利
Discussion