Open6

ComfyUI事始め

yuckyuck

Radeon搭載のゲーミングノートを使用せずに余らせていたので、StableDiffusionでもやってみるかと調べると、どうもNVidiaのGeForce系じゃないと一般的なWebUI(Automatic1111)は駄目とのこと。
しかしComfyUIだとRadeonでも可とのことで挑戦。
インストールに関してはこのサイト記載の方法で一発でOKだった。
ただ、高速化のLoRA周りはやりたいことによって異なる。

https://da-romtell.com/stablediffusion-comfyui-install/

yuckyuck

##ControlNet導入序章

海外サイトなども漁ってみるも、結構書かれていることがバラバラで、実際に試してもうまく行かなかった。何気に日本のサイトの以下のが一番参考になった。

https://sorenuts.jp/8294/#index_id1

yuckyuck

##ControlNet導入

###ComfyUI’s ControlNet Auxiliary Preprocessors
ComfyUI Managerからインストール可能なこちらは必須

###各種モデルもComfyUI Managerからインストール可能
以下辺りは入れとく。

*OpenPose:キャラクターのボーンを取得
*Depth:深度情報の抽出
*Canny:主線や輪郭の取得
*Hed:色合いと光源を取得
*mlsd:直線だけを抽出
*Scribble:棒人間をイラスト化

以下は必要に応じて。

*openpose_hand:手の形のボーンも取得
*fake_scribble:構図をざっくりと写し取る

yuckyuck

##ControlNet導入不要編

海外サイトだと「Apply ControlNet」もカスタムノードをインストールと紹介している記事が多かった。

https://medium.com/@promptingpixels/how-to-add-controlnets-to-comfyui-960e54106d29
https://openart.ai/workflows/-/-/eWSkFEeLjJ33zfCulBQs

ただ、これらはちょっと情報が古いのか、書かれている通りにやっても上手くいかなかった。
また記載されたカスタムノードはGITには存在しても、ComfyUI Managerの一覧に無かった。

「Apply ControlNet」はデフォルトノードにあり、それで問題なく使えた。

教訓:
ComfyUI Managerでインストール不可のものは使わなくて問題ない。

yuckyuck

##ControlNet:PreProcessorとModelの違い

ComfyUI’s ControlNet Auxiliary Preprocessors
これだけでも様々なモデルを選択して抽出内容をプレビューで表示できる。
そのため、最初の海外情報で不要カスタムノードをあれこれ試した経験から、
各種モデルは今は不要になっているんじゃないかと思った。
実際に生成するとノードが赤字でエラーに。

ここでようやく、モデルはこのときに必要になると理解する。

例えが正しいかは不明だが、自身の理解としては「PreProcessorは地図でModelが道順」。
PreProcessorで大枠の取得内容を指示できるが、実際の取得にはModelが必要な感じ。