写真をベースにAIでバーチャルアイドルを作る (Stable Diffusion Webui編)

シンギュラリティ・ソサエティのAI Innovators Hubに参加しています。

epiCRealismとReActorでバーチャルアイドルを作る

Stable Diffusionを使って、人物の顔写真を元にバーチャルアイドルを作成します。

前回の記事で、Stable Diffusion Webuiをインストールし、Stable Diffusion 1.5を動かしてみました。
https://zenn.dev/singularity/articles/stable-diffusion-webui-1

続いて、バーチャルモデルを作ってみます。

AIモデルのデータセットepiCRealismと、元データとなる顔画像を読み込むReActorというツールの２つを、Stable Diffusion Webuiに取り込み、画像データを元ネタにしてオリジナルの画像を生成する動かします。

epiCRealism

CIVITAIというサイトにある、epiCRealismをダウンロードします。

https://civitai.com/models/25694/epicrealism

epicrealism_naturalSinRC1VAE.safetensors というファイルがダウンロードされました。

models/Stable-diffusion/に置きます。

Stable Diffusion Webuiを起動します。

./webui.sh

するとStable Diffusion checkpointにepicrealism_naturalSinRC1VAE.safetensorsが追加されます。
追加されていない場合はmodels/Stable-diffusion/にファイルが置いてあるか確認をしてください。

ReActor

続いて、ReActorをインストールします。

ブラウザでExtensionsのInstall from URLを選択し、URlを入力。Installをクリックします。

urlは https://github.com/Gourieff/sd-webui-reactor を入れます。

しばらくするとインストールが完了。ここでwebuiを再起動します（一度、webui.shとめて再度webui.shを実行。ブラウザをreload)

GenerateタブにReAcorが追加されています。

ReActorをチェックし、開きます。

ImageでSingle Source Imageに元ネタとなる画像をドロップします。（ここではその画像は割愛）

Textを入れてGenerate。有名な夫人の画像を元に生成した画像が生成されます。

まとめ

プログラム不要で、簡単にできました！

他のmodelやextensionを試すことで、バーチャルアイドルに限らず、Stable Diffusionを使った様々な画像生成AIが使えそうです。

シンギュラリティ・ソサエティは、このように生成AIを使い、AIの検証やサービス、アプリケーションを作るコミュニティです。

https://singularitysociety.org/