4dhumansをgoogle colabで試してみた

4dhumansとは

4dhumansは画像や動画から姿勢を含めた人間の3Dモデルを推定することができる4Dモデルです。
https://shubham-goel.github.io/4dhumans/

リンク

Colab
github

準備

Google Colabを開き、メニューから「ランタイム→ランタイムのタイプを変更」でランタイムを「GPU」に変更します。

環境構築

インストール手順です。

%%capture
HMR2_ROOT="HMR2"
! git clone https://github.com/shubham-goel/4D-Humans.git $HMR2_ROOT --recursive
%cd $HMR2_ROOT

!pip install pytorch-lightning
!pip install smplx==0.1.28
!pip install pyrender
!pip install opencv-python
!pip install yacs
!pip install scikit-image
!pip install einops
!pip install timm
!pip install -e ./vendor/detectron2/

推論

(1)モデルのダウンロード

# download the weights
!wget https://people.eecs.berkeley.edu/~shubham-goel/projects/4DHumans/hmr2_data.tar.gz

# extract the checkpoints
!tar -xvf hmr2_data.tar.gz

(2) モデルの推論

# run hmr2 on a folder of images
!python demo.py \
--img_folder example_data/images \
--out_folder demo_out \
--batch_size=48 --side_view

結果の確認です。

from PIL import Image
display(Image.open("/content/HMR2/demo_out/skates_3.png"))

これ何がすごいかって横までちゃんと取れてるんですよね。えぐ、、、

Advanced Application

サッカーでやってみましょう。

データの準備です。

!wget https://ichef.bbci.co.uk/news/624/cpsprodpb/12FF8/production/_127861877_gettyimages-1245282739.jpg -P /content/myimages

三苫の奇跡の1mmのやつです。

!python demo.py \
--img_folder /content/myimages \
--out_folder /content/results \
--batch_size=48 --side_view

結果の確認

from PIL import Image
import glob
for p in sorted(glob.glob("/content/results/*.png")):
  display(Image.open(p))

いやーVARですね。完全にww 無料でVARです。これは出てないです。

前田大自然こと老け顔爆速プレッシングアンパンマン前田もがんばってます。ありがとうございます。

複数人(demo_multi.py)のやつも試しに作成してみましたが、うまくいかないなー
おそらく一回semantic segmentationで人間のマスクを取得してアルファブレンドみたいにするしかなさそう。

最後に

今回は新たな3D Reconstruction + Poseのモデルである4dhumansを試してみました。無料VARゲットです。これでサッカーの解析捗ります。

今後ともLLM, Diffusion model, Image Analysis, 3Dに関連する試した記事を投稿していく予定なのでよろしくお願いします。