<h1 id="%E7%92%B0%E5%A2%83">
<a class="header-anchor-link" href="#%E7%92%B0%E5%A2%83" aria-hidden="true"></a> 環境</h1>
<p>Windows 11 64bit<br>
Chrome 110.0.5481.178</p>
<h1 id="stable-diffusion-webui%E3%82%92%E3%82%A4%E3%83%B3%E3%82%B9%E3%83%88%E3%83%BC%E3%83%AB">
<a class="header-anchor-link" href="#stable-diffusion-webui%E3%82%92%E3%82%A4%E3%83%B3%E3%82%B9%E3%83%88%E3%83%BC%E3%83%AB" aria-hidden="true"></a> Stable Diffusion WebUIをインストール</h1>
<h3 id="python-3.10.6%E3%82%92%E3%82%A4%E3%83%B3%E3%82%B9%E3%83%88%E3%83%BC%E3%83%AB">
<a class="header-anchor-link" href="#python-3.10.6%E3%82%92%E3%82%A4%E3%83%B3%E3%82%B9%E3%83%88%E3%83%BC%E3%83%AB" aria-hidden="true"></a> Python 3.10.6をインストール</h3>
<p><code>Add Python to PATH</code>をチェックするのを忘れずに<br style="display:none">
<span class="embed-block zenn-embedded zenn-embedded-card"><iframe id="zenn-embedded__096d6309bf2bf" src="https://embed.zenn.studio/card#zenn-embedded__096d6309bf2bf" data-content="https%3A%2F%2Fwww.python.org%2Fdownloads%2Fwindows%2F" frameborder="0" scrolling="no" loading="lazy"></iframe></span><a href="https://www.python.org/downloads/windows/" style="display:none" target="_blank" rel="nofollow noopener noreferrer">https://www.python.org/downloads/windows/</a></p>
<h3 id="git%E3%82%92%E3%82%A4%E3%83%B3%E3%82%B9%E3%83%88%E3%83%BC%E3%83%AB">
<a class="header-anchor-link" href="#git%E3%82%92%E3%82%A4%E3%83%B3%E3%82%B9%E3%83%88%E3%83%BC%E3%83%AB" aria-hidden="true"></a> Gitをインストール</h3>
<p><span class="embed-block zenn-embedded zenn-embedded-card"><iframe id="zenn-embedded__a3233e067cc17" src="https://embed.zenn.studio/card#zenn-embedded__a3233e067cc17" data-content="https%3A%2F%2Fgit-scm.com%2Fdownload%2Fwin" frameborder="0" scrolling="no" loading="lazy"></iframe></span><a href="https://git-scm.com/download/win" style="display:none" target="_blank" rel="nofollow noopener noreferrer">https://git-scm.com/download/win</a></p>
<h3 id="zip%E3%83%95%E3%82%A1%E3%82%A4%E3%83%AB%E3%82%92%E3%83%80%E3%82%A6%E3%83%B3%E3%83%AD%E3%83%BC%E3%83%89">
<a class="header-anchor-link" href="#zip%E3%83%95%E3%82%A1%E3%82%A4%E3%83%AB%E3%82%92%E3%83%80%E3%82%A6%E3%83%B3%E3%83%AD%E3%83%BC%E3%83%89" aria-hidden="true"></a> ZIPファイルをダウンロード</h3>
<p><span class="embed-block zenn-embedded zenn-embedded-card"><iframe id="zenn-embedded__e8401a841c25" src="https://embed.zenn.studio/card#zenn-embedded__e8401a841c25" data-content="https%3A%2F%2Fgithub.com%2FAUTOMATIC1111%2Fstable-diffusion-webui" frameborder="0" scrolling="no" loading="lazy"></iframe></span><a href="https://github.com/AUTOMATIC1111/stable-diffusion-webui" style="display:none" target="_blank" rel="nofollow noopener noreferrer">https://github.com/AUTOMATIC1111/stable-diffusion-webui</a></p>
<p><img src="https://storage.googleapis.com/zenn-user-upload/9b7b020124ee-20230316.png" alt loading="lazy" class="md-img"></p>
<p>ZIPを解凍し、解凍先のフォルダを開いて<code>webui-user.bat</code>をダブルクリックして起動<br>
<img src="https://storage.googleapis.com/zenn-user-upload/4ca9df9674fd-20230316.png" alt loading="lazy" class="md-img"></p>
<p>未認証アプリの確認が出るので、「詳細情報」をクリック<br>
<img src="https://storage.googleapis.com/zenn-user-upload/4dbdfd6704b6-20230316.png" alt width="300" loading="lazy" class="md-img"></p>
<p>アプリ：webui-user.batと表示されているのを確認して「実行」をクリック<br>
<img src="https://storage.googleapis.com/zenn-user-upload/8dc0dee38e96-20230316.png" alt width="300" loading="lazy" class="md-img"></p>
<p>コマンドプロンプトが起動し、必要なソフトウェアがインストールされる</p>
<p>画像のような表示が出たら、赤枠のアドレスにブラウザでアクセスする<br>
（ctrlキーを押しながらURLをクリックするとブラウザが開く）<br>
<img src="https://storage.googleapis.com/zenn-user-upload/cd70ec41fc57-20230316.png" alt loading="lazy" class="md-img"></p>
<p>ブラウザに以下の様に表示される<br>
<img src="https://storage.googleapis.com/zenn-user-upload/7ac3e8a6775f-20230316.png" alt loading="lazy" class="md-img"></p>
<h1 id="stablediffusion%E3%82%92%E4%BD%BF%E3%81%A3%E3%81%A6%E3%81%BF%E3%82%8B">
<a class="header-anchor-link" href="#stablediffusion%E3%82%92%E4%BD%BF%E3%81%A3%E3%81%A6%E3%81%BF%E3%82%8B" aria-hidden="true"></a> StableDiffusionを使ってみる</h1>
<p>「txt2img」タブの一番上の欄に</p>
<div class="code-block-container"><pre><code>astronaut riding horse
</code></pre></div><p>などのpromptを入力し、右の「Generate」ボタンをクリックして少し待つと、画像が生成される<br>
<img src="https://storage.googleapis.com/zenn-user-upload/aa47348dc0ff-20230316.png" alt loading="lazy" class="md-img"><br>
生成された画像<br>
<img src="https://storage.googleapis.com/zenn-user-upload/6bd1c1caa409-20230316.png" alt loading="lazy" class="md-img"><br>
何度かGenerateを押すとそのたびに別の画像が生成されたり、promptを変えると出力結果に影響がでることを確認しよう。<br>
また、今回空欄にしている二つ目の欄は「Negative prompt」と呼ばれ、「こうならないでほしいな」という要素を入力すると（なるべく）避けてくれる。</p>
<p>ただし、Stable Diffusionのデフォルトのモデルを元に生成しているので、次の章で好みのモデルをインストールする。</p>
<h1 id="pastel-mix%E3%82%92%E3%82%A4%E3%83%B3%E3%82%B9%E3%83%88%E3%83%BC%E3%83%AB">
<a class="header-anchor-link" href="#pastel-mix%E3%82%92%E3%82%A4%E3%83%B3%E3%82%B9%E3%83%88%E3%83%BC%E3%83%AB" aria-hidden="true"></a> Pastel-Mixをインストール</h1>
<p>今回は「Pastel-Mix」というパステル調の画像を生成するのが得意なモデルを使う。<br>
様々な絵柄に対応したモデルが出ているので、自分の好みに合うモデルを探してインストールしよう。</p>
<p><span class="embed-block zenn-embedded zenn-embedded-card"><iframe id="zenn-embedded__47cf721958e62" src="https://embed.zenn.studio/card#zenn-embedded__47cf721958e62" data-content="https%3A%2F%2Fhuggingface.co%2Fandite%2Fpastel-mix" frameborder="0" scrolling="no" loading="lazy"></iframe></span><a href="https://huggingface.co/andite/pastel-mix" style="display:none" target="_blank" rel="nofollow noopener noreferrer">https://huggingface.co/andite/pastel-mix</a></p>
<p>ここから以下の二つのファイルをダウンロード</p>
<ul>
<li>モデル:<code>pastelmix-fp16.safetensors</code>
</li>
<li>VAE:<code>pastel-waifu-diffusion.vae.pt</code>
</li>
</ul>
<p>それぞれ、以下のフォルダを見つけて移動する</p>
<ul>
<li>モデル：<code>(解凍先のフォルダ)i/models/Stable-diffusion</code>
</li>
<li>VAE：<code>(解凍先のフォルダ)/models/VAE</code>
</li>
</ul>
<p>Web UIの左上のプルダウンの右にある青いボタンを押したあと、「pastelmix-fp16.safetensors」を選択する（少し読み込みに時間がかかる）</p>
<p>その後、同じようにGenerateを押すと先ほどとは違った画像が生成される。<br>
「Sampling method」を切り替えると若干風味が変わるのでお好みのモノを選ぼう。<br>
<img src="https://storage.googleapis.com/zenn-user-upload/e8bfdc912b48-20230316.png" alt loading="lazy" class="md-img"><br>
生成画像<br>
<img src="https://storage.googleapis.com/zenn-user-upload/f19fca306803-20230316.png" alt loading="lazy" class="md-img"><br>
ちょっと塗り方が違うのがわかるだろうか。</p>
<p>馬と宇宙飛行士では華がないので、試しに以下のPromptを入れてみよう</p>
<div class="code-block-container">
<div class="code-block-filename-container"><span class="code-block-filename">prompt</span></div>
<pre><code>masterpiece, best quality, ultra-detailed, illustration, portrait, silver hair, blue eyes, 1girl, with books,  by the window,dimly lit
</code></pre>
</div><div class="code-block-container">
<div class="code-block-filename-container"><span class="code-block-filename">negative prompt</span></div>
<pre><code>lowres, ((bad anatomy)), ((bad hands)), text, missing finger, extra digits, fewer digits, blurry, ((mutated hands and fingers)), (poorly drawn face), ((mutation)), ((deformed face)), (ugly), ((bad proportions)), ((extra limbs)), extra face, (double head), (extra head), ((extra feet)), monster, logo, cropped, worst quality, low quality, normal quality, jpeg, humpbacked, long body, long neck, ((jpeg artifacts))
</code></pre>
</div><p>negative promptについて注<sup class="footnote-ref"><a href="#fn-0bcd-1" id="fnref-0bcd-1">[1]</a></sup></p>
<p>sampling methodは<code>DPM++ 2M Karras</code></p>
<p><img src="https://storage.googleapis.com/zenn-user-upload/5c9e9524147c-20230316.png" alt loading="lazy" class="md-img"><br>
暗めの窓辺で本を読む銀髪碧眼の少女を出力出来た（筆者の好み100%）</p>
<h1 id="controlnet%E3%82%92%E3%82%A4%E3%83%B3%E3%82%B9%E3%83%88%E3%83%BC%E3%83%AB">
<a class="header-anchor-link" href="#controlnet%E3%82%92%E3%82%A4%E3%83%B3%E3%82%B9%E3%83%88%E3%83%BC%E3%83%AB" aria-hidden="true"></a> ControlNetをインストール</h1>
<p>次は、この少女に好みのポーズをとってもらおう。</p>
<p>「Extensions」タブ内の「Install from URL」をクリック<br>
「URL for extension's git repository」欄に</p>
<div class="code-block-container"><pre><code>https://github.com/Mikubill/sd-webui-controlnet.git
</code></pre></div><p>をコピペして「Install」をクリック<br>
<img src="https://storage.googleapis.com/zenn-user-upload/df0798443dc1-20230316.png" alt loading="lazy" class="md-img"></p>
<p>インストールが終了すると小さく一文が表示される<br>
<img src="https://storage.googleapis.com/zenn-user-upload/5549b632a12c-20230316.png" alt loading="lazy" class="md-img"></p>
<p>「Installed」タブをクリック、「Apply and restart UI」でWebUIを再起動する<br>
<img src="https://storage.googleapis.com/zenn-user-upload/adef2bd746f5-20230316.png" alt loading="lazy" class="md-img"><br>
※時間がかかり404が出るときがあるが、待っていると表示される</p>
<p>うまくいっていれば、左の列の下の方に「ControlNet」という欄が増えている<br>
<img src="https://storage.googleapis.com/zenn-user-upload/b08e24e94f7a-20230316.png" alt loading="lazy" class="md-img"></p>
<p>クリックして開き、「ここに画像をドロップ」と書いてある場所にポーズの画像をドロップする</p>
<p>ポーズの例<br>
<img src="https://storage.googleapis.com/zenn-user-upload/954d734a150d-20230316.jpg" alt loading="lazy" class="md-img"></p>
<p>このときに用意する画像は、希望する出来上がりのサイズと揃えた解像度にするとよい。<br>
デフォルトは512x512。</p>
<p>次に「Enable」にチェックを入れ、Preprocessorで「openpose」を選択して、<br>
下部の「Preview annotator result」をクリックしてみる<br>
<img src="https://storage.googleapis.com/zenn-user-upload/4a489d1a0075-20230316.png" alt loading="lazy" class="md-img"></p>
<p>Annotator resultという形で棒人間画像が生成される。<br>
<img src="https://storage.googleapis.com/zenn-user-upload/05e949aa0464-20230316.png" alt loading="lazy" class="md-img"></p>
<p>これはサンプル画像から姿勢を推定して生成されたもので、これをつかって少女にポーズを指示する。<br>
※このannotationは自動で行われるので、毎回やる必要はない</p>
<p>次に、以下からmodelをダウンロードする。</p>
<p><span class="embed-block zenn-embedded zenn-embedded-card"><iframe id="zenn-embedded__84c4625696ba3" src="https://embed.zenn.studio/card#zenn-embedded__84c4625696ba3" data-content="https%3A%2F%2Fhuggingface.co%2Fwebui%2FControlNet-modules-safetensors%2Ftree%2Fmain" frameborder="0" scrolling="no" loading="lazy"></iframe></span><a href="https://huggingface.co/webui/ControlNet-modules-safetensors/tree/main" style="display:none" target="_blank" rel="nofollow noopener noreferrer">https://huggingface.co/webui/ControlNet-modules-safetensors/tree/main</a></p>
<p><code>control_openpose-fp16.safetensors</code>をダウンロードし、<br>
<code>(webuiのフォルダ)\extensions\sd-webui-controlnet\models</code>というフォルダに配置する。</p>
<p>WebUIに戻り、「Model」欄の右にある青いボタンをクリックした後、<br>
Model欄で「contronl_openpose-fp16」を選択、右上の「Generate」をクリックすると、美少女がサンプルと同じポーズで生成される<br>
<img src="https://storage.googleapis.com/zenn-user-upload/8e13e7c12a67-20230316.png" alt loading="lazy" class="md-img"></p>
<p>生成画像<br>
<img src="https://storage.googleapis.com/zenn-user-upload/97cb1a970882-20230316.png" alt loading="lazy" class="md-img"></p>
<p>サンプル画像のような人間のポーズではなく、棒人間画像を入力することも出来る。<br>
<img src="https://storage.googleapis.com/zenn-user-upload/eeeb5636ce50-20230316.png" alt loading="lazy" class="md-img"></p>
<p>その際は、すでに処理済みなのでPreprocessorを「none」にしてGenerateする。<br>
<img src="https://storage.googleapis.com/zenn-user-upload/019f6ce3c145-20230316.png" alt loading="lazy" class="md-img"></p>
<p>この棒人間を自分で描いたものを読み込んでもＯＫ。<br>
以下のExtensionを追加すれば、エディタをWebUIに追加できる。<br style="display:none">
<span class="embed-block zenn-embedded zenn-embedded-card"><iframe id="zenn-embedded__7dbca97d6fb12" src="https://embed.zenn.studio/card#zenn-embedded__7dbca97d6fb12" data-content="https%3A%2F%2Fgithub.com%2Ffkunn1326%2Fopenpose-editor" frameborder="0" scrolling="no" loading="lazy"></iframe></span><a href="https://github.com/fkunn1326/openpose-editor" style="display:none" target="_blank" rel="nofollow noopener noreferrer">https://github.com/fkunn1326/openpose-editor</a></p>
<h1 id="%E3%81%BE%E3%81%A8%E3%82%81">
<a class="header-anchor-link" href="#%E3%81%BE%E3%81%A8%E3%82%81" aria-hidden="true"></a> まとめ</h1>
<p>stable diffusion webuiのセットアップから派生モデル（Pastel-Mix）の導入、ControlNetによる姿勢の指示まで行った。<br>
ControlNetには他にも出力を制御するモデルがあるので試してみてほしい。その際には対応するPreprocessorを選択することを忘れずに。</p>
<p>それでは、よいGenerative AIライフを。</p>
<h1 id="%E3%81%8A%E3%81%BE%E3%81%91">
<a class="header-anchor-link" href="#%E3%81%8A%E3%81%BE%E3%81%91" aria-hidden="true"></a> おまけ</h1>
<p>これが<br>
<img src="https://storage.googleapis.com/zenn-user-upload/4dafcb64ec40-20230316.jpg" alt loading="lazy" class="md-img"><br>
こうなって<br>
<img src="https://storage.googleapis.com/zenn-user-upload/23ab6740d83f-20230316.png" alt loading="lazy" class="md-img"><br>
こうじゃ<br>
<img src="https://storage.googleapis.com/zenn-user-upload/81ef0ae8d545-20230316.png" alt loading="lazy" class="md-img"></p>
<div class="code-block-container">
<div class="code-block-filename-container"><span class="code-block-filename">prompt</span></div>
<pre><code>masterpiece, best quality, ultra-detailed, illustration, portrait, silver hair, blue eyes, 1girl,  running, dimly lit
</code></pre>
</div><div class="code-block-container">
<div class="code-block-filename-container"><span class="code-block-filename">negative</span></div>
<pre><code>lowres, ((bad anatomy)), ((bad hands)), text, missing finger, extra digits, fewer digits, blurry, ((mutated hands and fingers)), (poorly drawn face), ((mutation)), ((deformed face)), (ugly), ((bad proportions)), ((extra limbs)), extra face, (double head), (extra head), ((extra feet)), monster, logo, cropped, worst quality, low quality, normal quality, jpeg, humpbacked, long body, long neck, ((jpeg artifacts))
</code></pre>
</div><p>sampling method:<code>DPM++ 2M Karras</code></p>
<section class="footnotes">
<span class="footnotes-title">脚注</span>
<ol class="footnotes-list">
<li id="fn-0bcd-1" class="footnote-item">
<p>negative promptには今回希望する絵画の出力を制御するためAIが陥りがちな出力を避けるための単語を入れており、単語が示す特定の人間を差別するような意図はない <a href="#fnref-0bcd-1" class="footnote-backref">↩︎</a></p>
</li>
</ol>
</section>


Stable Diffusion WebUIにControlNetを導入して好みのポーズの二次元少女を生み出す

Stable Diffusion WebUIをインストール

Discussion