<p>こんにちはたけです。ControlNetを使って以下の画像のようにさまざまなスタイルの画像を生成できるとのことなのでやってみようと思います。</p>
<p><img src="https://storage.googleapis.com/zenn-user-upload/fcddacb47ec3-20230428.png" alt="https://www.reddit.com/r/StableDiffusion/comments/119j8qr/clear_text_using_controlnet/" loading="lazy" class="md-img"></p>
<h2 id="%E7%92%B0%E5%A2%83">
<a class="header-anchor-link" href="#%E7%92%B0%E5%A2%83" aria-hidden="true"></a> 環境</h2>
<ul>
<li><a href="https://github.com/AUTOMATIC1111/stable-diffusion-webui" target="_blank" rel="nofollow noopener noreferrer">automatic1111</a></li>
<li><a href="https://github.com/lllyasviel/ControlNet" target="_blank" rel="nofollow noopener noreferrer">ControlNet</a></li>
</ul>
<h2 id="%E3%82%BB%E3%83%83%E3%83%88%E3%82%A2%E3%83%83%E3%83%97">
<a class="header-anchor-link" href="#%E3%82%BB%E3%83%83%E3%83%88%E3%82%A2%E3%83%83%E3%83%97" aria-hidden="true"></a> セットアップ</h2>
<p>ControlNetまでの導入はできているとして、今回はその中で<a href="https://huggingface.co/lllyasviel/ControlNet/resolve/main/models/control_sd15_depth.pth" target="_blank" rel="nofollow noopener noreferrer">control_sd15_depth.pth</a>のモデルを使うのであらかじめダウンロードします。</p>
<h2 id="%E5%85%83%E3%81%A8%E3%81%AA%E3%82%8B%E6%96%87%E5%AD%97%E5%88%97%E3%81%AE%E3%83%87%E3%83%97%E3%82%B9%E3%82%92%E7%94%9F%E6%88%90%E3%81%99%E3%82%8B">
<a class="header-anchor-link" href="#%E5%85%83%E3%81%A8%E3%81%AA%E3%82%8B%E6%96%87%E5%AD%97%E5%88%97%E3%81%AE%E3%83%87%E3%83%97%E3%82%B9%E3%82%92%E7%94%9F%E6%88%90%E3%81%99%E3%82%8B" aria-hidden="true"></a> 元となる文字列のデプスを生成する</h2>
<p><img src="https://storage.googleapis.com/zenn-user-upload/952acdbc2b6f-20230428.png" alt loading="lazy" class="md-img"></p>
<p>こんな画像が作れればなんでもいいです。僕は適当に下のサイトなどから作りました。<br style="display:none">
<span class="embed-block zenn-embedded zenn-embedded-card"><iframe id="zenn-embedded__d97654aa5a896" src="https://embed.zenn.studio/card#zenn-embedded__d97654aa5a896" data-content="https%3A%2F%2Fwww.nin-fan.net%2Ftool%2Fstring_image.html" frameborder="0" scrolling="no" loading="lazy"></iframe></span><a href="https://www.nin-fan.net/tool/string_image.html" style="display:none" target="_blank" rel="nofollow noopener noreferrer">https://www.nin-fan.net/tool/string_image.html</a></p>
<h2 id="%E3%83%97%E3%83%AD%E3%83%B3%E3%83%97%E3%83%88">
<a class="header-anchor-link" href="#%E3%83%97%E3%83%AD%E3%83%B3%E3%83%97%E3%83%88" aria-hidden="true"></a> プロンプト</h2>
<p>適当に手元にあったビーチの画像からタグを抽出してみる</p>
<div class="code-block-container"><pre><code>beach, cloud, cloudy_sky, horizon, mountain, no_humans, ocean, outdoors, river, sand, scenery, shore, sky, sunlight, sunset, water, waves
</code></pre></div><p>これに</p>
<p><code>3d concrete text</code></p>
<p>をつけたのをプロンプトとして使ってみよう。<br>
<img src="https://storage.googleapis.com/zenn-user-upload/e37f4cc98c99-20230428.png" alt loading="lazy" class="md-img"></p>
<h2 id="%E3%81%84%E3%81%96%E7%94%9F%E6%88%90%E3%81%97%E3%81%A6%E3%81%BF%E3%82%8B">
<a class="header-anchor-link" href="#%E3%81%84%E3%81%96%E7%94%9F%E6%88%90%E3%81%97%E3%81%A6%E3%81%BF%E3%82%8B" aria-hidden="true"></a> いざ生成してみる</h2>
<p>設定は画像の通りです<br>
<img src="https://storage.googleapis.com/zenn-user-upload/9d6a195bedda-20230428.png" alt loading="lazy" class="md-img"></p>
<div class="code-block-container"><pre><code>3d concrete text, beach, cloud, cloudy_sky, horizon, mountain, no_humans, ocean, outdoors, river, sand, scenery, shore, sky, sunlight, sunset, water, waves
</code></pre></div><p><img src="https://storage.googleapis.com/zenn-user-upload/225dc5ff1529-20230428.png" alt loading="lazy" class="md-img"></p>
<p>Preprocessorはnone, Modelはcontrol_sd15_depth.pthを選択</p>
<h2 id="%E7%94%9F%E6%88%90%E7%B5%90%E6%9E%9C">
<a class="header-anchor-link" href="#%E7%94%9F%E6%88%90%E7%B5%90%E6%9E%9C" aria-hidden="true"></a> 生成結果</h2>
<p>いくつか生成したのを置いときます</p>
<p><img src="https://storage.googleapis.com/zenn-user-upload/818a5e04df7d-20230428.png" alt loading="lazy" class="md-img"></p>
<p>3d concrete text, beach, cloud, cloudy_sky, horizon, mountain, no_humans, ocean, outdoors, river, sand, scenery, shore, sky, sunlight, sunset, water, waves</p>
<p><img src="https://storage.googleapis.com/zenn-user-upload/29eb9ac50d63-20230428.png" alt loading="lazy" class="md-img"></p>
<p>3d concrete text, 4k, beach, blue_sky, building, city, cloud, cloudy_sky, day, evening, forest, gradient_sky, hill, horizon, house, lake, landscape, mountain, mountainous_horizon, nature, no_humans, ocean, outdoors, river, scenery, shore, sky, sunrise, sunset, tree, twilight, water</p>
<p><img src="https://storage.googleapis.com/zenn-user-upload/f5aad6bf48cc-20230428.png" alt loading="lazy" class="md-img"></p>
<p>3d concrete text, 4k, neon, purple, dark</p>
<p><img src="https://storage.googleapis.com/zenn-user-upload/532bb9e5f5c9-20230428.png" alt loading="lazy" class="md-img"></p>
<p>3d concrete text, 4k, wood, grain, birch</p>
<p>結構使えそう</p>


ControlNetの文字への応用例を試す

元となる文字列のデプスを生成する

Discussion