Colab配布

再現しやすいように私の使っている Colab ノートブックを公開しておく。自由に使って Kawaii を錬成してください。

注意点としては、生成効率化のためにセーフティチェックを外しているため、これによって Google アカウント停止などの損害が発生しても自己責任でお願いします

とりま、いい感じの自作の呪文テンプレができたので共有

アーティスト名や作品名を使うと負けな気がするので使いません。無添加です。

おそらくもっと良くできる

 [お好きなシチュエーション],
kuudere,
(blush),
(perfect pupil of the eyes),
(((futuristic))),
(anime style eyes),
anime key visual,
wide shot,
top lighting,
dramatic lighting,
perfect shadow,
((sharp contrast)),
bokeh highlights,
hyper detailed,
digital illustration,

:::

です。

kuudere (クーデレ) は単に anime と指定するよりも、比較的安定して最近のアニメの目を生成することに寄与します。また、tsundere (ツンデレ) も同様ですが、個人的にクーデレの方が安定する気がしてるのでクーデレにしています。

キャラクターの性格が容姿に影響するというよりは、クーデレという概念が発生したアニメの絵柄を持ってくることができる強いワードであると思われます。anime 単体で呼び出してしまうと、ドラえもんみたいな感じの絵柄も入ってしまうため、より範囲の狭い具体的なワードであるクーデレは非常に便利です。

時々カッコで囲っていますが、カッコで囲うことで語の強さを弱めることができます。強すぎる語を指定して引っ張られすぎた時に使用すると良いです。

もっと解説したいですが、まとめは他の記事にするのでとりあえず生成結果例

生成結果例

呪文

a girl student studying in a café, school uniform, sunny, positive, lunch, coffee on table, kuudere, (((futuristic))), (anime style eyes), anime key visual, wide shot, top lighting, dramatic lighting, perfect shadow, ((sharp contrast)), bokeh highlights, hyper detailed, digital illustration

2022/9/6 追記

目、顔の描画を向上させる呪文を追加

目の崩壊を防ぐ

高い確率で目が崩壊するので対策を考えてみる

• Stable Diffusion は指定したものをしっかりと書いてくれる傾向があるように感じるので、ちゃんと目の状態を指定すればそのように描いてくれる説

実験

呪文のベースは上同様でシチュエーションは以下

a hacker girl using a keyboard, jersey, head phone, desktop computer

ここに、perfect pupil (完璧な瞳) を追加して、ベースと比較してみる

例1 目が描かれていない時

ベース	完璧な瞳

めちゃくちゃ綺麗というわけではないが、目がしっかり描かれた

例2 色がおかしい時

ベース	完璧な瞳

ベース絵は目の色がごちゃってるが、これはあまり変化しないようだ

例3 片目だけのとき

ベース	完璧な瞳

大きく構図が変化した

ベース絵では、片目が描かれていないせいだろうか？

例4 片目が一部隠れている時

ベース	完璧な瞳

横を向いていたが、こちらを向くようになった。かわいい。

よくみると瞳孔が描かれている？

例5 全部黒目の時

ベース	完璧な瞳

白目の部分も黒くなっている時に、「完璧な瞳」だけでは白目を復活させられるわけではないようだ

「完璧な瞳」の効果は？

おそらく次の３つ

• 目が描かれていない場合は目を描くようになる
• 目が隠れている場合は顔の向きを変える時がある
• 目の色がおかしいことには何も作用しない

目が映らない確率が減るため便利そうだが、顔の向きを変える効果が強すぎるため、カッコで囲って弱めた方が良さそうである。

弱体化した場合の比較や目の色についての安定化が今後(と言ってもどうせ今夜)の課題になりそうである

顔がのっぺりしてる

アニメ塗りすぎて、顔の陰影が薄い。もっと可愛くなれる。

仮説

• 軽く赤面させればいいのでは

実験

ベース呪文は以下とする。

a hacker girl using a keyboard, 
wear a jersey, 
head phone, 
desktop computer, 

 kuudere, 
(perfect pupil of the eyes), 
(((futuristic))), 
(anime style eyes), 
anime key visual, 
wide shot, 
top lighting, 
dramatic lighting, 
perfect shadow, 
((sharp contrast)), 
bokeh highlights, 
hyper detailed, 
digital illustration

ここに、blush (赤面) を追加して比較する。

例1 顔以外への影響

ベース	赤面

ほんのり顔が赤みがかった。ついでに服も赤っぽくなってしまった。

赤面は全体的にピンクっぽい感じの絵に多いから引っ張られたのだろうか？

例2 雰囲気への影響

ベース	赤面

こちらもやはり全体的に赤っぽい感じになってしまったが、前の冷たい感じよりは暖かい方が色的に整っている感じはする。(色の専門家ではないのでなんとも言えない)

例3 崩壊を防げる？

ベース	赤面

こちらは、顔の色はあまり変わらず髪の色が赤っぽくなったが、ベースの絵と比較すると整った顔になった。

赤面している顔に整った顔が多いためか？

「赤面」の効果は？

おそらくこんな感じ

• 雰囲気が赤っぽくなる
• 顔以外も赤に影響される
• 場合によっては顔が整う

赤面を追加して顔が綺麗になるのは少し予想外。色に影響してしまうのは場合によっては嬉しくないので、弱めて使ったり、色を明言して上書きを防ぎながら使っていくと良いかもしれない。

猫

neko や cat、neko mimi、cat ear、catgirl のワードを含めると服の面積が減る？

Waifu Diffusion

https://huggingface.co/hakurei/waifu-diffusion

Waifu Diffusion は Stable Diffusion の微調整モデルで、 Danbooru^[1] を食べているためキャラクターイラストがめちゃくちゃ得意

普通に今まで Stable Diffusion で使っていた呪文をそのまま使うだけでも綺麗なイラストが出てくるが、特に面白い性質があるのでいくつか紹介

例 1 複数の人物

元の Stable Diffusion も複数の人物を描画することは苦手だったが、Waifu Diffusion だと若干崩壊が少なく描画できるような気がする

複数人の場合は横長にすると縦長よりも綺麗になる

呪文

two girls, school_uniform, classroom, hug_from_behind, yuri, 2girls, (ahoge), (((portrait))), absurdres, highres, dynamic angle, kuudere, (blush), wide shot, top lighting, dramatic lighting, perfect shadow, ((sharp contrast)), bokeh highlights

シード1994602536、ステップ50	シード570528922、ステップ40

と言ってもやっぱりこれらは少し厳選したやつで、複数人を描かせると二人目以降の顔が崩壊しやすい

全体的に安定して描画できているとは思うが、複雑な構図などを指定すると一気に崩壊してしまうので、やっぱり拡散モデルだと難しいところがあるのかなという感じ(詳しくないのでよくわからない)

例 2 二次創作

有名なキャラクターであればそれを描かせることができる

初音ミクで試した様子

呪文

vocaloid, hatsune_miku, zettai_ryouiki, twintails, floating_hair, blue_hair, sky, beach, midday, sunlight, solo, 1girl, ahoge, ((portrait)), dynamic angle, kuudere, (blush), wide shot, top lighting, dramatic lighting, perfect shadow, ((sharp contrast))

ステップ: 30

シード:9071249132	シード:9071249128

ミク感があると思う

Waifu Diffusionの専用呪文

Danbooru に付属する特殊なタグがいくつかあるので、その形式に則って呪文を作ると指示を聞いてくれやすいような気がする

1girl、solo、ahoge や、blue_hair、floating_hair などアンダーバーで繋いだワードである

これは実際に Danbooru を使ってみれば見つけることができるので、自分で調べてみることをお勧めする

中でも特に便利なのが highres と portrait のワード

highres は Danbooru タグの一つで、公式の説明では、

High resolution images.
An image with this tag should be at least 1600 pixels wide or 1200 pixels tall.
Note: This tag is automatically added to images.

と、高画質な画像に付与されるタグで、このワードを指定することで画質を良くすることができる。Stable Diffusion などで気休めに 4k や highly detailed と指定していた代わりに付けるだけで良い。

ベース	highres

Stable Diffusion の影響か portrait というワードをつけるだけで顔がめちゃくちゃ綺麗になるのだが、代わりにガチ恋距離で生成される。そのままだと近すぎて逆に崩壊することがあるので、周囲の状況の説明を追加することで若干引きの構図にできて綺麗にできる。

二次創作

元々の Stable Diffusion でもある程度の雰囲気が掴めていたため、例に挙げたような有名な概念であれば結構それっぽく生成できる

ただ、東方や初音ミクのような相当有名なものでなければ知らないので、特定のキャラクターを描かせたいとなると非常に難しい。(Stable Diffusion は原神に関する知識がゼロなので、Waifu Diffusion でも原神は雰囲気すら掴めなかったり)

タイトル名や作品名であれば雰囲気が伝わることもあるので、特定のキャラクターに似せたい時は、気休めに作品名と一緒に髪色や目の色などを Danbooru タグ形式で指定していくと近い感じにはできる