ComfyUI で FLUX.1 を試す

ComfyUIちょっと久々。以下は以前の記事。

Ubuntu 22.04 / RAM96GB / RTX4090。

仮想環境を用意すること。

$ git clone https://github.com/comfyanonymous/ComfyUI && cd ComfyUI
$ pip install -r requirements.txt

以下を参考に進める。FLUX.1 [schnell]で。

Flux Examples

$ wget --content-disposition https://huggingface.co/comfyanonymous/flux_text_encoders/resolve/main/clip_l.safetensors?download=true -P models/clip
$ wget --content-disposition https://huggingface.co/comfyanonymous/flux_text_encoders/resolve/main/t5xxl_fp16.safetensors?download=true -P models/clip
$ wget --content-disposition https://huggingface.co/comfyanonymous/flux_text_encoders/resolve/main/t5xxl_fp8_e4m3fn.safetensors?download=true -P models/clip

$ wget --content-disposition https://huggingface.co/black-forest-labs/FLUX.1-schnell/resolve/main/ae.sft?download=true -P models/vae

$ wget --content-disposition https://huggingface.co/black-forest-labs/FLUX.1-schnell/resolve/main/flux1-schnell.sft?download=true -P models/unet

では起動。うちはLAN内のリモートサーバなので--listenをつけている。

$ python main.py --listen

Starting server

To see the GUI go to: http://0.0.0.0:8188

ブラウザで8188ポートにアクセスすると以下の画面が表示される。

最初に記載したFlux Examplesのページから下のボトルの画像をダウンロードする。

ComfyUIのメニューの「Load」から、先ほどダウンロードした画像を読み込む。

FLUX.1 [schnell]用のサンプルフローが読み出される。画像がフローになっているとは・・・・

プロンプトはここで指定。とりあえずデフォルトで。

「Queue Prompt」をクリックして生成。

モデルのロードなどそこそこ時間がかかるが、以下のように生成された。

ちなみにリソース消費はだけど、

RAM: 40GB弱
VRAM: 23GB

ぐらいだった。

kun432

OOMになる場合は、Flux Examplesに記載の通り、以下を変更すれば良い。実際に試してみたらRAM／VRAM共にざっくり半分ぐらいになったかな？

kun432

FLUX.1 [dev]についてもFlux Examplesに従えば良さそう。ただしこちらはHuggingFaceのサイト上で利用規約に同意しておく必要がある。wgetの場合は以下のような感じ。

$ wget --content-disposition https://huggingface.co/black-forest-labs/FLUX.1-dev/resolve/main/flux1-dev.sft?download=true -P models/unet --header="Authorization: Bearer [HF_TOKEN]"

[HF_TOKEN]は適宜置き換え。

kun432

参考

VRAMが少ない場合はこちらが参考になるかも