🦙
Raspberry Pi（ラズパイ）のローカル環境でLLMを動かす
ラズパイでLLM
普通にローカル動きました。Raspberry Pi 5です。DockerでOllamaを動かしています。簡単にメモします。
ラズパイのセットアップ
以下でラズパイの基本的なセットアップをします。
Dockerをセットアップします。
Ollamaセットアップ
続いてOllamaをセットアップします。ラズパイでDockerを使えば、以下コマンドを実行するだけでOllamaをインストールできます。
$ docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
2回目以降、うまく起動しない場合は、以下コマンドでコンテナを削除してください。
$ docker stop $(docker ps -q)
$ docker rm $(docker ps -q -a)
Ollamaに関しては以下記事を参照してください。
Ollamaの起動
以下コマンド実行すると、OllamaがLlama 3というモデルをダウンロードして起動します。
$ docker exec -it ollama ollama run llama3
以下動いている様子です。
Tanuki-8Bを動かす
日本語LLMのTanuki-8B、7shiさんが量子化してくださったモデルでラズパイで動きました。Raspberry Pi 5(8GB)です。
以下コマンドでモデルをダウンロードして実行しています。
$ docker exec ollama ollama pull 7shi/tanuki-dpo-v1.0:8b-iq3_XXS
$ docker exec -it ollama ollama run 7shi/tanuki-dpo-v1.0:8b-iq3_XXS
まとめ
ラズパイでLLM動かしてみました。ラズパイでもローカルでLLMがそのうち動くようになるだろうなーと思っていましたが、いつの間にかあっさり動くようになっていました。
まだ速度や性能面で実用性は低そうですが、今後新しい軽いモデルが出てきたら色々な用途で使えるかもしれませんね。
参考リンク
以下の動画がすべてのきっかけです
もりしーさんの動画
関連記事
変更履歴
- 2024/09/05 Tanuki-8Bモデルの動かし方追記
Discussion