🦙
Raspberry Pi（ラズパイ）のローカル環境でLLMを動かす
ラズパイでLLM
普通にローカル動きました。Raspberry Pi 5です。DockerでOllamaを動かしています。簡単にメモします。
ラズパイのセットアップ
以下でラズパイの基本的なセットアップをします。
Dockerをセットアップします。
Ollamaセットアップ
続いてOllamaをセットアップします。ラズパイでDockerを使えば、以下コマンドを実行するだけでOllamaをインストールできます。
$ docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
Ollamaに関しては以下記事を参照してください。
Ollamaの起動
以下コマンド実行すると、OllamaがLlama 3というモデルをダウンロードして起動します。
$ docker exec -it ollama ollama run llama3
以下動いている様子です。
まとめ
ラズパイでLLM動かしてみました。ラズパイでもローカルでLLMがそのうち動くようになるだろうなーと思っていましたが、いつの間にかあっさり動くようになっていました。
まだ速度や性能面で実用性は低そうですが、今後新しい軽いモデルが出てきたら色々な用途で使えるかもしれませんね。
参考リンク
以下の動画がすべてのきっかけです
もりしーさんの動画
関連記事
Discussion