📝
h2o LLM Studio でぺろっと LLM ﾌｧｲﾝﾁｭｰﾝしたいメモ
LLM model のﾌｧｲﾝﾁｭｰﾝぺろっと試したい
LLM モデル毎日ぽこぽこ生えてきて, 毎回 finetune セットアップめんどい...
ふーん, h2o LLM Studio よさそうかねぇ...
試してみます!
環境
- Ubuntu 20.04
- 3090 x 1
- CUDA 12.1
- conda
セットアップ
Python 3.10 必要です.
私の場合は conda で環境作りました.
あとは必要なモジュールいれるだけです.
実行(GUI)
$ make wave
でいけました. Docker など使わずとも, 特に問題なく一発起動できました!
あとはボタンぽちぽちで OK.
感想
GPU mining での HiveOS みたいな感じですかね.
とりあえずぱぱっと時短でﾌｧｲﾝﾁｭｰﾝしたい...
loss 曲線とか確認したい.
でも streamlit なりで GUI 自前で作成するほど労力かけたくもない...
という, コスパとタイパ重視のよくばりな LLM 主ふにはよさそうでしょうか.
まだ出始めですが, 利用者が増えればより機能増えたり(複数 node に学習タスク投げるとか), GUI がオシャンティ化していくかもしれません.
TODO
- ﾌｧｲﾝﾁｭｰﾝ用日本語データセット用意して, h2o LLM Studio でﾌｧｲﾝﾁｭｰﾝしてみる
Discussion