🗺️

Stable DiffusionでQRCodeアートを作成した話

2023/06/13に公開

2023年5月末からRedditでStable Diffusionのimg2imgをQRCodeに適用するという話が上がっていた．
それらのQR コードはカスタムトレーニングされたControlNetモデルを使用して生成されている．
執筆現在ではカスタムされたControlNetモデルの公開は停止している．

カスタムモデルを使用しない方法

考え方は単純である．
1.通常のControlNetの使用方法の一つである，画像の高画質化「Tile」機能を使う．
2.高画質化の過程で入力プロンプトの絵柄を組み込んでいく．
3.組み込まれる度合いをパラメータを使用して調整していく．

使用環境

ソフトウェア

AUTOMATIC1111 Stable Diffusion GUI
ControlNet 拡張機能
Model:https://civitai.com/models/36520/ghostmix
ControlNet Model :Tile https://huggingface.co/lllyasviel/ControlNet-v1-1/blob/main/control_v11f1e_sd15_tile.pth

実行

Img2imgページに移動
ModelをGhostMixに変更
Promptを入力Redditにのってたやつ(例は後述）
- Pos:a cubism painting of a town with a lot of houses in the snow with a sky background, Andreas Rocha, matte painting concept art, a detailed matte painting
- Neg:ugly, disfigured, low quality, blurry, nsfw
QRコードを img2img キャンバスにアップロード
設定値の入力
- Resize mode: Just resize
- Sampling method: DPM++2M Karras
- Sampling step: 50
- Width: 768
- Height: 768
- CFG Scale: 7
- Denoising strength: 0.75
4で使用したものと同じQRコードをControlNetの画像キャンバスにアップロード
ContronNetのパラメータをセット
- Enable: Yes
- Control Type: Tile
- Preprocessor: tile_resample
- Model: control_v11f1e_sd15_tile [a371b31b]
- Control Weight: 0.87
- Starting Control Step: 0.23
- Ending Control Step: 0.9