ComfyUI事始め
Radeon搭載のゲーミングノートを使用せずに余らせていたので、StableDiffusionでもやってみるかと調べると、どうもNVidiaのGeForce系じゃないと一般的なWebUI(Automatic1111)は駄目とのこと。
しかしComfyUIだとRadeonでも可とのことで挑戦。
インストールに関してはこのサイト記載の方法で一発でOKだった。
ただ、高速化のLoRA周りはやりたいことによって異なる。
##ComfyUI Manager
ノードやモデル追加であると便利な「ComfyUI Manager」のインストールは必須。
- コマンドで右記移動 ComfyUI/custom_nodes
- git clone https://github.com/ltdrdata/ComfyUI-Manager.git
- ComfyUIを再スタート
##ControlNet導入序章
海外サイトなども漁ってみるも、結構書かれていることがバラバラで、実際に試してもうまく行かなかった。何気に日本のサイトの以下のが一番参考になった。
##ControlNet導入
###ComfyUI’s ControlNet Auxiliary Preprocessors
ComfyUI Managerからインストール可能なこちらは必須
###各種モデルもComfyUI Managerからインストール可能
以下辺りは入れとく。
*OpenPose:キャラクターのボーンを取得
*Depth:深度情報の抽出
*Canny:主線や輪郭の取得
*Hed:色合いと光源を取得
*mlsd:直線だけを抽出
*Scribble:棒人間をイラスト化
以下は必要に応じて。
*openpose_hand:手の形のボーンも取得
*fake_scribble:構図をざっくりと写し取る
##ControlNet導入不要編
海外サイトだと「Apply ControlNet」もカスタムノードをインストールと紹介している記事が多かった。
ただ、これらはちょっと情報が古いのか、書かれている通りにやっても上手くいかなかった。
また記載されたカスタムノードはGITには存在しても、ComfyUI Managerの一覧に無かった。
「Apply ControlNet」はデフォルトノードにあり、それで問題なく使えた。
教訓:
ComfyUI Managerでインストール不可のものは使わなくて問題ない。
##ControlNet:PreProcessorとModelの違い
ComfyUI’s ControlNet Auxiliary Preprocessors
これだけでも様々なモデルを選択して抽出内容をプレビューで表示できる。
そのため、最初の海外情報で不要カスタムノードをあれこれ試した経験から、
各種モデルは今は不要になっているんじゃないかと思った。
実際に生成するとノードが赤字でエラーに。
ここでようやく、モデルはこのときに必要になると理解する。
例えが正しいかは不明だが、自身の理解としては「PreProcessorは地図でModelが道順」。
PreProcessorで大枠の取得内容を指示できるが、実際の取得にはModelが必要な感じ。