Text generation web UIのセットアップ手順

やること

Text generation web UIのセットアップ手順をまとめます。

Text generation web UIのセットアップ

1. コマンドプロンプトを開く
2. 任意のディレクトリに移動
3. GitHubからtext-generation-webuiリポジトリをclone

git clone https://github.com/oobabooga/text-generation-webui.git

4. ディレクトリ移動

cd text-generation-webui

5. 以下のコードを実行

start_windows.bat

6. 初回起動では、GPUの選択を行う
   ※環境に合わせて選択してください。
   
7. installが完了すると、Running on local URL: http://127.0.0.1:7860　が表示される
   
8. http://127.0.0.1:7860 にアクセス
   

Text generation web UIにphi-3をinstallする

1. 「Model」をクリック
   
2. microsoft/Phi-3-mini-4k-instruct-gguf と入力し、「Get file list」をクリック
   
3. Phi-3-mini-4k-instruct-q4.gguf と入力し、Downloadをクリック
   
4. Download完了後、Phi-3-mini-4k-instruct-q4.ggufを選択し「Save settings」をクリック
   
5. Chatで話しかけてる
6. 返答が返ってくることを確認
   

まとめ

text-generation-webuiのセットアップ手順をまとました。
SLMやLLMのR＆Dに使えそうなのでこれからガンガン使っていきます。