Closed2
ChatGPTクローンを試す（text-generation-webui編）
kun432経緯はここ。他のChatGPT/Code Interpreterクローンなども。
kun432text-generation-webui
- Python製
- 主にオープンな言語モデル向け
- stable-diffusion-web-uiと同じ立ち位置を目指しているらしい
普通にChatGPTっぽくつかうというよりは、オープンソースの言語モデルを色々試したり、細かいパラメータ設定したり、トレーニングさせたり、少し専門家向けに柔らかいUI用意した、みたいな感じに近いと思う。
なので、今回の目的とはちょっと立ち位置が違うとは思いつつも、今まで触ってこなかったのもあって、すこし触ってみる。
インストール
Windows/Linux/macOS/WSL向けにワンクリックでローカルで実行できるインストーラが用意されているのだけど、中を見てるとcondaとか使ってるみたい。個人的にはcondaをグローバルにインストールすることに躊躇するところがあって、他の方法はないかなーとおもってたらDockerでできるみたい。
で以下でも紹介されているとおりに進めればOKだった。
こんな感じ。
自分ですこしいじってるのは、
- モデルはtext-generation-web-uiだけで使うわけではないし容量を食うので、別のディスクにディレクトリをつくってdockerからマウントするようにした
- UIでHuggingFaceからダウンロードすることができるんだけど、レポジトリごとダウンロードされて、UI上はモデルのレポジトリ名でしか見えない。複数のモデルファイルが用意されている場合はパラメータで切り替えるようなのだけど、覚えるの無理だしサイト見るのも面倒。ってことで、UI使わずに個別にダウンロードしてる。
ぐらい。まだちょっと使い勝手わかってないし、もう少し使ってみてから。
所感
一般的なChatGPTの利用イメージとは異なるので、今回の用途的にはちょっと外れるかなと思う。反面、オープンなLLMをいろいろ試したい、というケースでコードを書かずに気軽にさ割れるのはメリット。
とはいえ使いこなすための前提知識は必要なので、機械学習とか言語モデルのもっと根本的な部分を勉強しないといけないなーというのを改めて痛感した。
stable-diffusion-web-uiも、最初はさっぱりわかってないところから、見様見真似でいろいろ試してみて、徐々にわかっていく感じだったので、そのうち慣れるのかなー。
もう少し使い込んでみる予定。
参考
パラメータの違いとかあまりわかってなかったので参考になった。
このスクラップは2023/07/27にクローズされました