Mist v2 を試す

Mist v2

Mist は image to image や絵柄学習を妨害するツール。それの v2 が出たようなので試してみる。

https://github.com/mist-project/mist-v2

v1 の時点でちゃんと効果を確認できてて^[1]個人的に好き。

v1 と v2 の違いはよくわからん (v2は少しコード読んだけどv1の方はよく知らない)

そもそもの v2 のノイズの仕組みというか方針は、

• Stable Diffusion の画像への認識を混乱させて正しいデノイズをできなくする

というようになっている。

より具体的には以下のようになっている (私の理解が間違っていなければ):

1. 元画像 (保護したい画像) と混乱画像 (ノイズが付与される画像) を作成
2. 元画像で DreamBooth LoRA を学習 (Stable Diffusion が元画像を再現できるようになる)
3. 学習した Stable Diffusion で元画像と混乱画像の両方をデノイズし、その差が広がるように補正する （学習されたStable Diffusion は元画像を再現できるはずだけど、混乱画像はその Stable Diffusion でも正しくデノイズできない方向に持っていかれる)
4. ただし、混乱画像の見た目が元画像と離れないように補正する (ノイズが目立たないようにする)

という流れだと思う。

v1 で Mist ノイズを施した例:

画像は nijijourney の生成画像。欲しい場合は ここ からどうぞ。

Mist ノイズは Textural モード、Strength 16、Steps 100, Low VRAM usage mode で付与。

	元画像	Mist v1ノイズ付き
i2i前
i2i後

i2iに使ったモデルは Realgar-v2.1 で SDv2.1-768解像度ベースのWD1.5 beta3ベース。

Mist v1 はこんな感じでちゃんと面白い結果になる。

v2 で Mist ノイズ付与した例:

画像は nijijourney の生成画像。

Mist ノイズの設定 (Web UI):

input 画像 (複数)

雰囲気近い画像を選んだ。

実験:

	元画像	Mist v2ノイズ付き
i2i前
i2i後

モデルは生成パラメータは上の v1 のときと同じ。

なぜか全然崩壊しなかった...