Closed3
ollamaのDockerを試してみる
![もぶもぶ](https://res.cloudinary.com/zenn/image/fetch/s--7RBvmdBL--/c_limit%2Cf_auto%2Cfl_progressive%2Cq_auto%2Cw_70/https://storage.googleapis.com/zenn-user-upload/avatar/c14c79d79e.jpeg)
We are excited to share that Ollama is now available as an official Docker sponsored open-source image, making it simpler to get up and running with large language models using Docker containers.
以下のコマンドで起動するとのこと
docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
ChatGPTにcompose.ymlにしてもらう
version: '3'
services:
ollama:
image: ollama/ollama
container_name: ollama
ports:
- "11434:11434"
volumes:
- ollama:/root/.ollama
volumes:
ollama:
起動
docker compose up -d
ブラウザでlocalhost:11434
アクセスして起動確認
![もぶもぶ](https://res.cloudinary.com/zenn/image/fetch/s--7RBvmdBL--/c_limit%2Cf_auto%2Cfl_progressive%2Cq_auto%2Cw_70/https://storage.googleapis.com/zenn-user-upload/avatar/c14c79d79e.jpeg)
サーバとして起動しているのであとはクライアントからpullするなりrunするなり。
ollama pull mistral
ollama run mistral
>>> 日本語はわかりますか?
はい、日本語が理解できます。どうこうあなたが助けることができますか?
![もぶもぶ](https://res.cloudinary.com/zenn/image/fetch/s--7RBvmdBL--/c_limit%2Cf_auto%2Cfl_progressive%2Cq_auto%2Cw_70/https://storage.googleapis.com/zenn-user-upload/avatar/c14c79d79e.jpeg)
LiteLLMとつないでpythonクライアントから叩いてみたが、うまくいかない。
modelはllama2
litellmは0.1.824
参考
llama2以外のmodel(mistral)はそもそもlitellm側の呼び出しコードで対応してなさげなので、いったん諦め。
このスクラップは2023/10/06にクローズされました