💡
CharacterGenをローカル環境で試した
概要
こちらをローカルで動かしてみました。
環境構築
動作環境
Ubuntu22.04
RTX4090
CUDA11.8
修正点
requirements.txtをちょっと修正。
gradio
rm_anime_bg
# for 2D_stage
torch
torchvision
xformers
accelerate
transformers==4.42.4
diffusers==0.24.0
ipdb
einops
omegaconf
imageio
onnxruntime
# for 3D_stage
pytorch_lightning
jaxtyping
wandb
lpips
git+https://github.com/NVlabs/nvdiffrast
ninja
open3d
trimesh
pymeshlab
pygltflib
werkzeug==2.0.3
３Dにするときにエラーが出たので以下を追加
RUN pip install --upgrade markupsafe
RUN pip install --upgrade jinja2
デモを起動
python webui.py
サンプルの画像で実行。２Dの生成はうまくいっていますが、３Dの生成は全然ダメですね。これでもかなりうまくいっているほうです。
キャラクターの設定イラストから綺麗な三面図を用意して入力してみましたが、３Dの精度が上がることはありませんでした。
Discussion
面白そうなツールだと思い、インストールしてみたのですが、
2dの方は動くのですが、3dは、「DLL load failed while importing nvdiffrast_plugin: 指定されたモジュールが見つかりません」と出て起動すらしません。windows環境ではまだ動かないのかなあと、ちょっと放置しています。2dもアニメ系ならともかく、リアル系のクリーチャーは原型を、、
動かないときはエラーメッセージを https://www.perplexity.ai/ に全部突っ込んで調べてます
なるほど！ありがとうございます。
とはいえ、2dで3面図ができれば、外のツールでも3d化はできそうなので、
のんびりと作業してみます。