ローカルLLMを使う時の色々設定メモ

参考図書

Pythonでまなぶ-ローカルLLMの訓練と使いこなし

色々自分用にメモします。ローカルLLMを使う人にも役立つかも。

ollama

• homebrewで入れた場合、「ollama serve」をターミナルで実行して、そのターミナルウィンドウを開きっぱなしにしておかないとollamaを使えない。

# ollamaの起動
ollama serve
# モデルのダウンロード
ollama pull gpt-oss:20b
# モデル起動
ollama run gpt-oss:20b

• dockerを開いてから、下記コマンドを叩いてOpen WebUI を起動する。localhost:3000でブラウザからアクセスできる。

docker run -d -p 3000:8080  --add-host=host.docker.internal:host-gateway \
  -v open-webui:/app/backend/data \
  --name open-webui --restart always \
  ghcr.io/open-webui/open-webui:main

pythonのライブラリ

• TkRasyGUI
  GUIを簡単に作れるライブラリ。

Difyのあれこれ

前提となるollama起動は下記の通り。

# ollamaの起動
ollama serve
# 別のターミナルウィンドウでモデル起動
ollama run gpt-oss:20b

Dify起動→下記コマンドを打つ。

cd ai/dify/docker #任意のdifyクローンした場所
docker compose up -d

#その後、ブラウザで下記にアクセスして確認。
http://localhost

Dify＞設定＞モデルプロバイダーから、ollamaのモデルプロバイダーをインストールし、各値を下記にして設定する。

• Model Type: LLM
• Model Name: ollamaで入れたやつ。（例：gpt-oss:20b）
• Base URL：http://host.docker.internal:11434
• その他：初期設定のまま

ローカルでLLM搭載アプリを動かす

※自分の環境ではこう。目安に。

• parentalcontrol@Yusuke-no-MacBook-2 ~ % ollama serve
• parentalcontrol@Yusuke-no-MacBook-2 aix02 % python app.py

ハマりポイント

Intel Mac → MシリーズMac にTime Machineで乗り換えたら、Intel環境とARM環境が混在して不具合が生じた