やること
前回、Azure AI モデルカタログ上でPhi-3を動かしてみた。
小型の言語モデル（SLM）なので、Jetson Orin Nanoでも動くのか？と疑問になったので検証してみた。
前提
- Jetson Orin Nano
- jetPack 5.1.3
↓セットアップ手順
Phi-3とは？
Ollamaとは？
ollamaはオープンソースの大規模言語モデル（LLM）などをローカルで実行できるOSSツールです。
jetsonで動かしてみる
- ターミナルを開く
- 以下のコマンドを実行し、oolamaをインストールする
curl -fsSL https://ollama.com/install.sh | sh
3. 以下のコマンドを実行し、phi3を実行する
ollama run phi3
4. 「hello」とプロンプトを投げる
5. 約10秒後に返答が返ってくる
6. 「Can you speak English？」とプロンプトを投げる
7. 先程同様、約10秒後に返答が返ってくる
おわりに
Jetson Orin NanoでPhi3を動かしてみた。
返答速度は遅いですが、Jetson-orin-nanoで動かせたことに感動しました！
Discussion