Open13
ローカルでAI(gemma3)を動かしたい
雨音触れた技術
- WSL
- Docker
- ollama
- Open WebUI
- gemma3
雨音この記事の通りに進めていった。
雨音dockerとLinux
dockerを使うにはLinuxがあった方がいい(もしくは必須？)らしいので、dockerとLinux用のWSL2を学んだ
雨音最初の記事の通り進めていったが、どうも上手くいかないので、
道中で発見した「ollama+Open WebUI」という方向に切り替える。
雨音ollama
AI(gemma3)を動かすためのエンジンっぽいもの？
Open WebUI
ollamaなどをWeb上で動かせるようにしたもの。
立ち位置はstable diffusionのWebUIに近い気がする。
元々はollamaを動かすためのものだったとのことで、相性ばっちり。
雨音最終的にここに従えばうまく出来た
雨音途中、ollamaをWSL内とwindows内のどちらにも導入していたせいか、
「既に同じポートは使われているよ！」というエラーが出た。
以下のコマンドで、指定のポートで既に動いているタスクを調べる
ターミナル
sudo lsof -i:[ollamaを起動しようとしているポート]
*sudoをつけないと、WSL外のタスクだからか表示されなかった。
*ollamaのポートはデフォルトで11434
見つけたら、以下のコマンドでタスクを消去
kill [ポート番号]
必要ならsudoをつける
雨音以下参考記事
雨音gemmaのモデルをollamaで追加したければ、
ターミナル
docker exec -it [コンテナ名] ollama pull [モデル名]
で行える。
モデル名は、
gemma3 4bモデルの場合: gemma3:4b
12bモデルの場合: gemma3:12b
となる。
そのままの12bなど大型モデルなどはローカルには荷が重いので、
gemma3:12b-it-qatなどを使うと動かしやすい。
詳しくは以下参考