Open3

2次元姿勢推定AIの進捗

kenfukukenfuku

二次元姿勢推定AIの歴史の進捗についてメモ

kenfukukenfuku

AIモデルの推移
　姿勢推定AIの種類は最初に１）Top-Down方式. ２）Bottom-Up方式. に分かれた。

  1. Top-Down方式：他のAIモデルによる物体検出結果から入力画像を切り出して推定する方式
  2. Bottom-UP方式：画像全体からキーポイントを推定してそれらを繋げる後処理を用いて推定する方式。他のAIは必要ない。
    　そしてその後に他のAIが必要なく後処理も必要ないE2E（End-to-End）方式が出現した。

Bottom-UP方式の代表例

  • CMU-Pose (後のOpenPose)
  • OpenPose (一番有名)
  • HigherHRNet + AE
  • DEKR (Transformer導入）

Top-Down方式の代表例

  • MaskRCNN (セグメンテーションで有名なMaskRCNNの応用)
  • VitPose (Transformer)

E2E方式の代表例

  • PETR
  • RTMO
kenfukukenfuku

姿勢推定AIにおけるアイデア

Grouping (Bottom-Upにおける出力後のキーポイントの接続方法）

  • Part Afinity Field (PAF)
  • Associative Embedding (AE)
  • DisEntangled Keypoint Regression (DEKR)

End2End

  • pose-decoder, joint-decoder (PETR)