ラズパイで動くらしいalpaca-lora。
そうは言ってもWindowsで動かすのはいろいろ苦労しそうなので、Google Colabで動かしてみる。

ランタイムタイプの変更

ラズパイで動くくらいだからこの作業が必要かは分からない。
でも使うのはタダだから、GPUを使わせてもらう。

ランタイム → ランタイムタイプの変更 → GPU

リポジトリのclone

まずはリポジトリをcloneする。

!git clone https://github.com/tloen/alpaca-lora.git

ディレクトリを移動

%cd alpaca-lora/

ライブラリのインストール

インストールする。

!pip install -r requirements.txt

ソースをいじる。

alpaca-loraを動かすためにはgenerate.pyを動かすわけだが、これがそのままだとGoogle Colabで動かない(動くけどWebインターフェイスにアクセスできない)。

generate.pyのソースコードの一番下らへんにある

).launch()

これをこのように書き換える。

).launch(share=True)

こうすることで、localhostでのみアクセス可能だったWebインターフェイスがネットからもアクセス可能になる。

動かす

実行してみる。

!python generate.py

数分立つとURLが表示されるので、下のgradio.liveの方をクリックする。

Running on local URL:  http://127.0.0.1:7860
Running on public URL: https://ここは実行ごとに代わる.gradio.live

するとWebインターフェイスから利用できるようになる。
日本語はいまいち。