🎉
オープンソースのChatRWKVを試してみた
先日この記事を知りました。
そしてGoogle Colab（Colaboratory）で、試してみました。
こちらをフォークして試してほしいと書いてあったので、試してみました。
私のフォークは、こちらです。
クローンを作りました。
!git clone https://github.com/miracle777/rwkv_chatbot.git
!cd rwkv_chatbot
学習モデルをダウンロードします。
このモデルが、メモリが少なくても起動できました。
!wget https://huggingface.co/BlinkDL/rwkv-4-pile-169m/resolve/main/RWKV-4a-Pile-170M-20221209-7955.pth
!mv /content/RWKV-4a-Pile-170M-20221209-7955.pth /content/rwkv_chatbot
最新版の学習モデルを使うと、画像のようにメモリが足りないという内容だと思いますが表示が出て、自分で止まります。
14GB必要と思いました。
パッケージをインストールします。
!pip install transformers
!pip install inquirer
!pip install discord.py
!pip install sty
実行します。
%cd /content/rwkv_chatbot
!python runOptimized.py
カーソル点滅は、キー入力待ちです
私は、カーソル点滅の意味が分からす、途中で止めました。
そうしたら、エラーになったので、色々調べました。
最終的に、キー入力待ちでは気が付き、表示されている学習モデルを入力してみました。
この後バックエンド？の選択が、表示されます。
リストの中で使いたいものを、手入力します。
この画像のように、GPUを使うか確認の後、自分でしゃべり始めます。
話しかけ方が分からない
私は、どのように話しかけてよいか分かりませんでした。
そのため、こちらに質問してみました。
Discussion