😍

FLUX.1-dev で ControlNet-depth と LoRA【QTCanimatedFeeling-FLUX】 を試す

2024/10/02に公開

はじめに

以前FLUX.1-devに関しての記事を書きました。

https://zenn.dev/asap/articles/e4c199cecf1836
https://zenn.dev/asap/articles/912d6de879d006

今回は、新しい(といっても記事執筆時ではそこそこ時間が経ってしまっていますが)ControlNetとLoRAを見つけたので試してみました。

利用したモデル

ControlNet-depth

https://huggingface.co/Shakker-Labs/FLUX.1-dev-ControlNet-Depth

前回記事にした、Union型ではなく、depthに特化したモデルです。

LoRA

https://civitai.com/models/654875

私の好きなアニメ風のLoRAです。下記の記事を参考にさせていただきました。
https://qiita.com/yuji-arakawa/items/9525beab101b8e1d6452

成果物

拡大表示は記事の下部をご覧ください。

ControlNet-depth

ちなみに、Union型で生成した画像は下記のようになりました。

こうしてみると、若干ですが特化型の方が画像の質が高いように思います。

(参考)ControlNetを使わないで生成した画像

LoRA

非常に高品質なLoRAだと思います。

コード

前回の記事で利用したコードと同一です。
解説に関しても、前回の記事をご覧ください。
https://github.com/personabb/colab_AI_sample/tree/main/colab_fluxdev_sample2

前回までの記事で記載していたconfig周りのエラーですが、pull requestを見る限りでは修正されているようですね!
https://github.com/huggingface/diffusers/commit/9cd37557d581dd30fb6031ae30bd583443c3effd#diff-2c2ca6ac06ccd5e0d2040572edac54c017a3c8ee0fbdbb0338483baa0887067b

プロンプト

ControlNet-depth

modern anime style, a cute Japanese idle singer girl, long Yellowish-white hair with red small ribbon,red eyes,small red hat ,She sings with a smile on her face , wearing white idle costume, standing on the stage ,This is a flashy concert with 3D holograms and laser effects

LoRA

modern anime style, a cute Japanese idle singer girl, long Yellowish-white hair with red small ribbon,red eyes,small red hat ,She sings with a smile on her face ,make a peace sign with her left hand, wearing white idle costume, standing on the stage ,This is a flashy concert with 3D holograms and laser effects

まとめ

最近は色々勉強したい内容が多すぎて、生成AIを触れていなかったですが、技術はどんどん進化しているので、今後が楽しみです!

生成画像の拡大

拡大表示も置いておきます。
記事に貼ると、どうしても劣化してしまうので参考程度にご覧ください。

ControlNet-depth





LoRA





Discussion