stable diffusion web uiをmacで + civitai の Loraを使う
ShuzoNとりあえずM3 Pro Macなのでlocalでsd web uiを動かしてみよう
参考に。
ShuzoN
2系だと制約がありそう。もとの記事でも2を入れると動かないとあった。
とりあえず2系を入れて動かなかったら1.5にするか
2なら動く、をみたのでこっちを頼るか
ShuzoN
とりあえずDLはおわった。
ShuzoNcd stable-diffusion-webui
mv ~/Downloads/sd-v1-4.ckpt ./models/Stable-diffusion
とりあえず準備はできたので stable-diffusion-webui のトップレベルで
./webui.sh
ツールインストールに時間がかかるので待つ。
ShuzoN
結果はどうであれ実行はできていそうである
ShuzoNcivitai
stable diffusion web ui自体は動いた。Loraをcivitaiから拾ってきたいのでそちらを進める。
ShuzoNloraモデル選びの文言集
loraモデルは一旦なんでも良いのでこれで。
DLする。
ShuzoNDLしたloraをweb uiにセットする
mv ~/Downloads/dataviz_style_xl_v1.safetensors ./models/Lora
Loraタブを開く。お、出てきた
ShuzoN
LoraをWeb uiでクリックするとトリガーワードが出てくる。
同じプロンプトでやってみる
Loraが動いてる感じはないが、実行はできた。
ShuzoN
civitaiは画像とともにプロンプトを公開してくれている。
たとえばこれだと
dataviz style, black and white network data visualization in the shape of a cyberpunk girl, masterpiece , hyper detailed, unreal engine, blue tones, stars lora:dataviz_style_xl_v1:1
ってプロンプトらしい。meta dataの調整はおいておいて実行してみる
なるほどぜんぜん違うw
ShuzoN
meta dataたち
一旦、negative promt とかすぐにできるところから再現してみる。
ぜんぜん違うなぁ。ちなみにサンプラーってやつを変えると品質が変わるらしい。
ShuzoN
サンプラーを変更しても対して変更がない。
ShuzoNもう一回civitaiのgeneration dataをみる
checkpointとはなんだろうか？
Stable Diffusionに導入できる学習ファイルには、LoRAと呼ばれるモデルも存在します。CheckpointとLoRAの違いを一言で表すと、生成画像に与える影響度が異なります。
だそう。元画像はcheckpointが入っているので生成結果が変わるのかな。
を試してみる。6.5GBと大きいがきっとcheckpointで刺しているmodelで女性のモデルの描き方を大筋指定しているのだろう
同じくDLしたものをLora ディレクトリに。
mv ~/Downloads/dreamshaperXL_v21TurboDPMSDE.safetensors ./models/Lora
SD web uiのサーバを起動し直すと
Loraには出てくるが、checkpointに出てこないな
ShuzoNmv ./models/Lora/dreamshaperXL_v21TurboDPMSDE.safetensors ./models/Stable-diffusion
と /models/Stable-diffusion に移動したらcheckpointタブに出てきた。
ShuzoNかなり近しい画像が生成された
自分が生成したやつ
参考にしている画像
設定としては以下をやった。
ShuzoN元画像のサイズが1050x1400と大きめなので同じ数字にして実行する
実行時間については、やはり解像度を上げるとかなり伸びる傾向にあるっぽい。512x512は20秒ほどでかってくるが1050x1400は2-3分かかる。
生成された画像はこちら。だいぶいい感じになった。
一旦やりたいことは分かった👏
ShuzoNいろいろ試してみたけど
- checkpointが大本の方向性を決めるモデル ( /models/Stable-diffusion )
- Loraが微修正を行うモデル (/models/Lora)
という印象で考えると良さそう。
この場合は DreamShaperが登場するものの大筋の描き方を決めて、Data Visual...がその後の描き方を決める、みたいな感じなんだと思う。多分、人間で言えば整形と化粧くらい違う。