Jetson orin nanoでtext-generation-webuiを動かしてみる

やること

text-generation-webuiをJetson orin nanoで動かしてみる

text-generation-webuiとは？

言語生成AI（LLM）のモデルをGUIで使用できるツールです。
無料でインストールすることができ、Web UIの起動後は、コーディング不要でテキスト生成ができるようになります。

https://www.jetson-ai-lab.com/tutorial_text-generation.html

前提

• jetson orin nanoがセットアップ済みであること

https://zenn.dev/headwaters/articles/87efb99d752d86

• JetPack 5
• python 3.10.4

手順

1. ターミナルを立ち上げる
2. 下記のコマンドを実行し、jetson-containerをcloneする

git clone --depth=1 https://github.com/dusty-nv/jetson-containers
cd jetson-containers
sudo apt update
sudo apt install -y python3-pip
pip3 install -r requirements.txt

3. 以下のコマンドを実行し、コンテナを実行する

./run.sh $(./autotag text-generation-webui)

4. ブラウザにてhttp://{jetsonのIPアドレス}:7860にアクセス
5. WEBUIが立ち上がることを確認
   
6. 「Modelタブ」をクリック
   
7. 「Download model or LoRA」に「TheBloke/Tinyllama-2-1b-miniguanaco-GGUF」を入力し、「Get file list」をクリック
   
8. 「tinyllama-2-1b-miniguanaco.Q4_K_S.gguf」を入力し、「Download」をクリック
   
9. Downloadが完了すると、「Done！」と表示される
   
10. 「Reload」をクリックし、8でダウンロードしたモデルを選択
    
11. 「Load」をクリック
    
12. Loadが完了すると、ログが出る
    
13. 「Chatタブ」をクリック
    
14. 英語で適当にプロンプトを行うと、会話が成立していることを確認
    
15. 日本語で適当にプロンプトを行うと、会話が成立していないことを確認
    

まとめ

jetson orin nanoでtext-generation-webuiを動かしてみました。
他のモデルでも検証してみようと思います。