Microsoft が 115 体のアバタからなるデータセット Microsoft Rocketbox Avatar Library を公開しています。本書では、Meta Quest HMD と組み合わせて、Unity 上で Microsoft Rocketbox Avatar (MSRA) を動かす方法を紹介します。

本書では、主に以下の内容をカバーしています（2023/12/11）。
- Oculus Touch コントローラを使った三点トラッキング
- Meta Quest Hand Tracking を使った三点 + ハンドトラッキング
- OVRLipSync を使ったリップシンク
- NPCとして動かしたり喋らせたりする方法
- Unity Live Capture を使ったフェイストラッキング



How to Use Microsoft Rocketbox Avatar

Read Me First | はじめに

Quick Start | クイックスタート

Unity プロジェクトを Meta Quest 用にセットアップする

Microsoft Rocketbox Avatar Library をダウンロードする

Unity へ Microsoft Rocketbox Avatar をインポートする

Touch コントローラ + FinalIK で三点トラッキングする

Touch コントローラのボタン入力でアバタの指を動かす

Unity + Quest でハンドトラッキングする

Quest Hand Tracking + FinalIK で三点トラッキングする

Quest Hand Tracking + FinalIK + Movebox で三点+ハンドトラッキングする

OVRLipSync でリップシンクする

NPC をアニメーションで動かす

NPC をリップシンクする

バーチャル鏡を配置する

アバタの身長をユーザの身長に合わせる

アバタに Collider をつけてモノに触る

Easy Motion Recorder でアバタのモーションを記録する

Unity Live Capture でフェイストラッキングする

unity

avatar

tmizuho