Open1

画像生成系AIについてのまとめ

suesue

画像生成系AIについてまとめ

StableDiffusion webUIを使う前提で色々まとめる。
デザイナーやAI分野に詳しくない人向けとしてもわかる感じにできれば。
StableDiffusion webUI

まだ途中なので随時更新予定。

インストールについて

ちょい面倒なので別記事にする予定。

起動方法

webui-user.batで起動する。
webui-userは内部的にはwebui.batをオプション付で起動するもの。

起動オプション指定について

指定方法

webui-user.batを開いて、
set COMMANDLINE_ARGS=--arg1 --arg2
のように追記する。

xformers

これを設定しておくと、画像生成速度UPとVRAMの使用量を大幅削減される。
ただ、同じseed値を使っても差分が少し生まれるようになるので注意。
set COMMANDLINE_ARGS=--xformers

モデルについて

選定

基本は自分が描いてほしいモノにあった絵柄のものを選ぶ。
※モデルの使用条件は投稿者によって違うので要注意。よく読みましょう。

  • 主なモデル取得先

用語

fp16：半精度版
fp32：単精度版

ckpt：チェックポイントの拡張子
safetensors：安定版の拡張子

pruned：軽量版
無印：フルサイズ

基本は
pruned
safetensors
の選択でよさそう

モデルを置く場所

StableDiffusionをインストールしている中に置くことになる。

  • 置く場所
    インストールしたフォルダ/stable-diffusion-webui/models/Stable-diffusion

置いたら再起動。

VAEについて

VAE(Variational Autoencoder、変分自己符号化器)は画像生成系AIにおいて
簡単にクオリティを上げてくれるもの、というくらいの認識でOK。
モデルだけだと結構もやもやするけど、VAEを設定するとかなりはっきりとする。

  • 特定モデル専用のVAE
  • 汎用のVAE

の2種あるので、VAEを使う際はモデルに合わせてやるか汎用でやるかになる。

  • 置く場所
    インストールしたフォルダ/stable-diffusion-webui/models/VAE

置いたら再起動。
webui上から
Settingsタブ→SD VAEという項目のプルダウンより選択し、Apply Settingsボタンで反映。

プロンプトについて

基本的に最初に書いている方が強く影響する。
品質・作風・環境・主体といった風に分類しつつ並び変えるのがベター。
品質だけは最初にもってきている方が良い。

強調の仕方

カッコを使うと強調される。
(要素)とすると1.1倍になる。
((要素))とすると1.21倍、(((要素)))とすると1.33倍に。
一緒に上げたい要素を複数入れるのもOK。

また、数字で指定することも可能。
レンジとしては1.6くらいが上限値。
(要素:1.5)とすると1.5倍になる。
(要素,要素:1.5)だと複数の要素に1.5倍となる。

逆に弱めるにはボックスカッコを使うと弱められる。
[要素]とすると0.91倍、[[要素]]とすると0.83倍になる。

ネガティブプロンプトについて

「反映してほしくない要素」を記述する。
プロンプトに書いていても、反対の意味を持つものを書くとより反映されやすい。
例えば、qualityを上げたい場合には
プロンプト：best quality, masterpiece
ネガティブプロンプト：worst quality, low quality
などを定義しておくと良い。

結構デフォルトで入力するものが決まってくるので、
纏めて反映してくれるようなネガティブエンベッドと呼ばれるものを導入するのがおススメ。
有名なものだと

  • EasyNegative
  • DeepNegative

などがある。

出力関係の設定について

各生成ページの下部の設定に関しての説明。

サンプリングについて

サンプリングメソッドについて

Euler aやLMS、DPMなど色々とあるが、

  • 処理が遅い/早い
  • 優しめの絵になりやすい
  • 濃いめの絵になりやすい
  • サンプリング数によって絵が結構かわる
    それぞれに特徴がある。

XXXX aと最後にa(Ancestral)がついているものはステップ数を上げると絵が変わる。
Karrasとついたものはノイズが減ってシャープになる。

参考：サンプラーの違い・全サンプラーの比較【Stable Diffusion web UI(AUTOMATIC1111版) / Sampler】

サンプリングステップについて

多ければ多いほど詳細に描かれるようになる。
ただし、やりすぎると違和感強くなるので、大体は20～40くらいがおススメ。

サンプリング系のオプションについて

  • Restore faces(顔の修正)
    顔の修正。アニメ系だとあんまりいいようにならないので外す方が良い。
  • Tiling
    人物では不要。
  • Hires.fix
    高画質にする。基本2倍ずつ程度が良さそう。設定が上級者向け。顔の崩れなどを対応するのに使ったりする。後述。
  • Width Height
    出力する幅・高さ。基本は以下のような形でやるのが良い。大体512,768,960くらいで調整したいところ。
    • 正方形：512×512
    • 縦長：512×768

その他

  • Batch count：生成を何回行うか
  • Batch size：何枚の画像を生成するか
  • CFG Scale：どれだけ呪文に忠実か

LoRAについて

LoRAとは追加学習方法の一つ。

参考：LoRAを使って遊んでみよう！学習ファイルのインストール方法と使用方法解説！【Stable Diffusion】
【AIグラビア、LoRA、LoCon】スマホでも出来る！！LORAで好きな絵師の画風を完全コピーする方法、完全解説、ポケカのさいとうなおき先生編【AI絵師、Stable Diffusion】

その他色々

顔の描画をよくする方法

顔がきれいにできないんだけど？【Stable Diffusion web UI Hires. fix】
結構拡大に使用するUpscalerのアルゴリズムで変わってしまうので注意。