BITEをgoogle colabで試してみた

BITEとは

BITEとは、犬の3d姿勢を推定してかつ3Dメッシュも生成してくれる3Dモデルです。なんかすごい。犬だけじゃなくて他にも応用が効きそうです。
https://bite.is.tue.mpg.de/

リンク

Colab
github

準備

Google Colabを開き、メニューから「ランタイム→ランタイムのタイプを変更」でランタイムを「GPU」に変更します。

環境構築

インストール手順です。

!git clone https://huggingface.co/spaces/runa91/bite_gradio

%cd bite_gradio
!pip install kornia trimesh scipy chumpy pymp importlib-resources openpyxl dominate git+https://github.com/runa91/FrEIA.git
!pip install gradio
!pip install "git+https://github.com/facebookresearch/pytorch3d.git@stable"

pytorch3dのインストールは20~30分くらいかかります。

推論

(1)WebUI起動
WebUIを起動する前に2点修正箇所があります。
以下のようにpytorch3d.version と書かれているのが2つありますが、それぞれversionを0.7.4にしてください。以下は一例です。

/content/bite_gradio/src/smal_pytorch/renderer/differentiable_renderer.py

elif pytorch3d.__version__ == '0.7.4':  # 0.6.1
            proj_points_orig = cameras.transform_points_screen(points)[:, :, [1, 0]]

%cd /content/bite_gradio
!python scripts/gradio_demo.py

(2)結果
ポメラニアンを出力

おーそれっぽい3Dモデルが取れている、、

ポケモンもきっといけるはず

おーーだめやけど実写化したらこんな感じなのか？

ポケモンはダメか、、犬ポケくらいなのかなー

犬ポケもだめやった、、

最後に

今回はBITEという犬専用の3Dモデル生成、姿勢推定のモデルを試してみました。犬を入れるとかなり綺麗に生成されますね。TEXTureと組み合わせるともしかしたら実物ワンちゃんを生成することも可能かも！試してみたい

今後ともLLM, Diffusion model, Image Analysis, 3Dに関連する試した記事を投稿していく予定なのでよろしくお願いします。