🎉
オープンソースのChatRWKVを試してみた
先日この記事を知りました。
そしてGoogle Colab（Colaboratory）で、試してみました。
こちらをフォークして試してほしいと書いてあったので、試してみました。
私のフォークは、こちらです。
クローンを作りました。
!git clone https://github.com/miracle777/rwkv_chatbot.git
!cd rwkv_chatbot
学習モデルをダウンロードします。
このモデルが、メモリが少なくても起動できました。
!wget https://huggingface.co/BlinkDL/rwkv-4-pile-169m/resolve/main/RWKV-4a-Pile-170M-20221209-7955.pth
!mv /content/RWKV-4a-Pile-170M-20221209-7955.pth /content/rwkv_chatbot
最新版の学習モデルを使うと、画像のようにメモリが足りないという内容だと思いますが表示が出て、自分で止まります。
14GB必要と思いました。
パッケージをインストールします。
!pip install transformers
!pip install inquirer
!pip install discord.py
!pip install sty
実行します。
%cd /content/rwkv_chatbot
!python runOptimized.py
カーソル点滅は、キー入力待ちです
私は、カーソル点滅の意味が分からす、途中で止めました。
そうしたら、エラーになったので、色々調べました。
最終的に、キー入力待ちでは気が付き、表示されている学習モデルを入力してみました。
この後バックエンド？の選択が、表示されます。
リストの中で使いたいものを、手入力します。
この画像のように、GPUを使うか確認の後、自分でしゃべり始めます。
話しかけ方が分からない
私は、どのように話しかけてよいか分かりませんでした。
そのため、こちらに質問してみました。
Discussion
お疲れ様です。
質問先に書いてある方法を試しましたが、colab上ではできませんでした。
実際にローカルに落として実行する必要があるのでしょうか？
ご連絡が遅くなり、すみません。
この内容ですが、作者に確認したところMastodonでチャットBOTを作ると言われました。
そのため私は、それ以降の検証をしていないです。
私は、GPUのメモリが足りないこともあり、colabを使いました。
私は、別の学習モデルをローカルで動かすときに、Anacondaなどを使い環境を作って試したことがあります。
同じように、環境を作ると良いかもしれないです。
私の環境では、検証が出来ないため、この記事も、この段階で止まっています。
申し訳ございません。
一部間違いが、あります。
DiscordでチャットBOTを作るように、開発者から話がありました。