ローカルLLMを使う時の色々設定メモ

参考図書

Pythonでまなぶ-ローカルLLMの訓練と使いこなし

色々自分用にメモします。ローカルLLMを使う人にも役立つかも。

ollama

• homebrewで入れた場合、「ollama serve」をターミナルで実行して、そのターミナルウィンドウを開きっぱなしにしておかないとollamaを使えない。

# ollamaの起動
ollama serve
# モデルのダウンロード
ollama pull gpt-oss:20b
# モデル起動
ollama run gpt-oss:20b

• dockerを開いてから、下記コマンドを叩いてOpen WebUI を起動する。localhost:3000でブラウザからアクセスできる。

docker run -d -p 3000:8080  --add-host=host.docker.internal:host-gateway \
  -v open-webui:/app/backend/data \
  --name open-webui --restart always \
  ghcr.io/open-webui/open-webui:main

pythonのライブラリ

• TkRasyGUI
  GUIを簡単に作れるライブラリ。

ハマりポイント

Intel Mac → MシリーズMac にTime Machineで乗り換えたら、Intel環境とARM環境が混在して不具合が生じた