ollamaのDockerを試してみる

• Ollama is now available as an official Docker image

We are excited to share that Ollama is now available as an official Docker sponsored open-source image, making it simpler to get up and running with large language models using Docker containers.

以下のコマンドで起動するとのこと

docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

ChatGPTにcompose.ymlにしてもらう

version: '3'

services:
  ollama:
    image: ollama/ollama
    container_name: ollama
    ports:
      - "11434:11434"
    volumes:
      - ollama:/root/.ollama

volumes:
  ollama:

起動

docker compose up -d

ブラウザでlocalhost:11434アクセスして起動確認

サーバとして起動しているのであとはクライアントからpullするなりrunするなり。

ollama pull mistral

ollama run mistral
>>> 日本語はわかりますか?
    
はい、日本語が理解できます。どうこうあなたが助けることができますか？

LiteLLMとつないでpythonクライアントから叩いてみたが、うまくいかない。
modelはllama2
litellmは0.1.824
参考
https://github.com/BerriAI/litellm/blob/main/cookbook/liteLLM_Ollama.ipynb

llama2以外のmodel(mistral)はそもそもlitellm側の呼び出しコードで対応してなさげなので、いったん諦め。