🐕

Jetson orin nanoでtext-generation-webuiを動かしてみる

takekawa tomoki

2024/04/09に公開

Jetson

LLM

tech

やること

text-generation-webuiをJetson orin nanoで動かしてみる

text-generation-webuiとは？

言語生成AI（LLM）のモデルをGUIで使用できるツールです。
無料でインストールすることができ、Web UIの起動後は、コーディング不要でテキスト生成ができるようになります。

前提

jetson orin nanoがセットアップ済みであること

JetPack 5
python 3.10.4

手順

ターミナルを立ち上げる
下記のコマンドを実行し、jetson-containerをcloneする

git clone --depth=1 https://github.com/dusty-nv/jetson-containers
cd jetson-containers
sudo apt update
sudo apt install -y python3-pip
pip3 install -r requirements.txt

以下のコマンドを実行し、コンテナを実行する

./run.sh $(./autotag text-generation-webui)

ブラウザにてhttp://{jetsonのIPアドレス}:7860にアクセス
WEBUIが立ち上がることを確認
「Modelタブ」をクリック
「Download model or LoRA」に「TheBloke/Tinyllama-2-1b-miniguanaco-GGUF」を入力し、「Get file list」をクリック
「tinyllama-2-1b-miniguanaco.Q4_K_S.gguf」を入力し、「Download」をクリック
Downloadが完了すると、「Done！」と表示される
「Reload」をクリックし、8でダウンロードしたモデルを選択
「Load」をクリック
Loadが完了すると、ログが出る
「Chatタブ」をクリック
英語で適当にプロンプトを行うと、会話が成立していることを確認
日本語で適当にプロンプトを行うと、会話が成立していないことを確認