ローカルでLLMを試す(Windows＋Docker環境)

ほどほどのスペックのデスクトップPCにローカルLLMを構築して実用的なものとして使えるか試す。

PCスペック

• CPU: 12th Gen Intel(R) Core(TM) i5-12400F 2.50 GHz
• GPU: NVIDIA GeForce GTX 1660 SUPER
• メモリ: 48GB

構築手順（2025/03/16時点）

1. Ollamaインストーラを公式サイトよりダウンロード &インストール
2. インストール中に起動するターミナルで以下実行

ollama run llama3.2

3. ダウンロード完了までしばらく待つ。終わるとCUI上でLLMを使えるようになる。
4. Open WebUIをDockerで構築する
   ※あらかじめDockerデーモンを起動しておく。筆者環境では「Rancher Desktop」を起動。

docker run --pull always -d -p 8080:8080 -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui ghcr.io/open-webui/open-webui:main

※Open WebUI公式サイト記載のコマンドは-p 3000:8080だが、筆者環境ではアクセスできなかったため-p 8080:8080に変更。
また、-v ollama:/root/.ollama によりホスト側のOllamaのモデルと連携できるようにしている。

5. http://localhost:8080/ にアクセスし、ローカルLLMのアカウントを作成、そして利用

所感

あっという間にローカルLLMを構築できた。
ほどほどスペックのPCでも極端に待たされることなく応答が返ってくる。
今後はRAGシステム構築などにトライしたい。