VRMとアイテムどちらもそれぞれカメラの動きを追従させたい

人間の体はmediapipeとか使えばすぐできそうだけど、手に持ってるものとかになるとどうすればいいか分からない

https://laboro.ai/activity/column/engineer/non-human-key-point-detection/

https://keypointnet.github.io/

landmark detection とかestimationとかで検索するとposeとかhandとかが多すぎてつらい

よさそう

https://github.com/cvlab-epfl/single-stage-pose

6d object pose とか 6d estimate とかのキーワードの方がよさそう

https://paperswithcode.com/task/6d-pose-estimation

https://github.com/MIT-SPARK/TEASER-plusplus

これめちゃくちゃいろいろ紹介してくれててかなりいい

https://haosulab.github.io/ml-meets-geometry/WI21/Lectures/L11_6D_Pose_Estimation.pdf

https://github.com/ethnhe/PVN3D

https://github.com/j96w/DenseFusion

この動画を見た感じ一番精度よさそうで

https://www.youtube.com/watch?v=UZ1CGojdxrA&ab_channel=iCubHumanoidRobot

しかもDockerで動かせるデモ実装まであるやつ見つけた

https://github.com/hsp-iit/mask-ukf

なんかわかんないけどここがうまくいってないっぽい

https://github.com/hsp-iit/mask-ukf/blob/master/misc/download_ycb_models.sh#L10

普通にubuntuのイメージっぽいからwgetで直接インストールしてみる

https://github.com/hsp-iit/mask-ukf/blob/master/dockerfiles/Dockerfile#L1

wget -O YCB_Video_Models.zip https://drive.google.com/u/0/uc?id=1gmcDD-5bkJfcMKLZb3zGgH_HUFbulQWu&export=download

うーん、うまくいかない。ブラウザからはダウンロードできたんだけどな。

sshでつないでとりあえずzipファイル渡してみるか

ukfってUnscented Kalman Filterの略か

カルマンフィルタで推定誤差抑えてるだけなら別にこれにこだわんなくてもいいかなー
姿勢推定とりあえずできたら後段で自前ですればいいし

Nividiaのサンプル実装っぽいリポジトリあった

https://github.com/NVlabs/PoseCNN-PyTorch

Microsoft

https://github.com/Microsoft/singleshotpose

https://github.com/j96w/6-PACK

ある程度共通のデータセットとタスクがありっぽい
YCB-VideoとかLineMODとか

https://paperswithcode.com/task/6d-pose-estimation-1

で、そのどっちもでベンチマーク1位を出しているのが現状FFB6Dというモデルっぽい

https://github.com/ethnhe/FFB6D

一旦FFB6Dを動かすことに専念してみる

とかいいつつ、超直近で改良版みたいなモデルがでたからこっちにする

https://github.com/zhanhz/KRF

https://qiita.com/nemutas/items/32ce13ae31360877baa5