😑

Moore-AnimateAnyoneを使ってみた

2024/01/15に公開

はじめに

この記事では、Moore-AnimateAnyoneというツールを使って、顔写真からアニメーションを作る方法を紹介します。
Moore-AnimateAnyoneは、画像生成と姿勢推定の技術を組み合わせて、任意の人物の動きに合わせて顔写真をアニメーション化することができます。

構築環境

このツールを使うには、以下の構築環境が必要です。
・windows11
・python 3.10.7(めんどくさいのでvenvなし)
・vscode

参考サイト

このツールを使うためには、以下の参考サイトを参照して、必要なファイルやモジュールをダウンロードします。
https://github.com/MooreThreads/Moore-AnimateAnyone
https://note.com/npaka/n/n02c0f77d3707

詰まったところ1

  • pytouchのエラー
    File "C:\Users\User\AppData\Local\Programs\Python\Python310\lib\site-packages\torch\cuda_init_.py", line 239, in _lazy_init
    raise AssertionError("Torch not compiled with CUDA enabled")
    AssertionError: Torch not compiled with CUDA enabled

  • 原因
    requirement.txtにtorch2.0.1と記載があったので対応するバージョンを指定してダウンロード
    install requirement.txtでCPU版をダウンロードしたみたい。

  • 解決方法
    pip uninstall torch
    pip cache purge
    pip install torch==2.0.1 torchvision==0.15.2 torchaudio==2.0.2 -f https://download.pytorch.org/whl/torch_stable.html

詰まったところ2

  • モデル読み込みエラー
    OSError: Unable to load weights from checkpoint file for './pretrained_weights/stable-diffusion-v1-5/unet\diffusion_pytorch_model.bin' at './pretrained_weights/stable-diffusion-v1-5/unet\diffusion_pytorch_model.bin'. If you tried to load a PyTorch model from a TF 2.0 checkpoint, please set from_tf=True.

  • 原因
    パスが通っていなかったと記載があったため、いろいろ探したが
    チェックポイントファイルが破損していたことが原因

  • 解決方法
    再ダウンロードした。

詰まったところ3

  • dw-ll_ucoco_384.onnxとyolox_l.onnxがダウンロード先にない

  • 解決方法
    モジュール名+下载でリンクを見つけた。

dw-ll_ucoco_384
https://huggingface.co/wanghaofan/dw-ll_ucoco_384/blob/main/dw-ll_ucoco_384.pth

yolox_l.onnx
https://huggingface.co/yzd-v/DWPose/blob/main/yolox_l.onnx

Discussion