Zenn
Open32

VRMRemoteLiver

myaonmyaon

山口からMediaPipe等でモーションデータを送って東京でそれをARでリアルタイムに見たい

myaonmyaon

バーチャルモーションキャプチャーはアバター制御として良さそう
だが、PC＋SteamVR環境前提のため厳しい
https://protocol.vmc.info/Reference.html
https://vmc.info/manual/基本の操作方法.html
https://booth.pm/ja/items/2654562

myaonmyaon

山口側はこれでもいいが、現地の様子をZoom繋いで見るとかするならHMDではない方がいい
逆に被った時何を表示させるか（現地の360°映像とかなら良いが実装難度高）

myaonmyaon

ランタイムでVRM読み込む感じだから、これにPhoton組み込むのは難しそう..

myaonmyaon

モーションキャプチャーとしてはThreeDPoseTrackerが浮かんだけど
モーションデータ保存自体は出来るけどリアルタイムに吐き出したりは難しそう
https://qiita.com/yukihiko_a/items/43d09db5628334789fab
https://bluebirdofoz.hatenablog.com/entry/2021/10/27/231425
https://angelpinpoint.seesaa.net/article/483208154.html

myaonmyaon

検索ワード色々
「VRM モーション Unity Quest」
「vrm モーション 通信」
「mediapipe vrm」
「vrm C# 動かし方」

myaonmyaon

システム構成（通信ナンモワカラン）

myaonmyaon

kalidokitは何となくワカッタけど、どう値を送ろう、、
モーションキャプチャ側もUnityで作ってphotonとか使うか（未経験）

myaonmyaon

モーションキャプチャ側もUnityで作ってphoton使う検証
https://www.photonengine.com/ja-JP/
https://enia.hatenablog.com/entry/unity/introduction/20
https://zenn.dev/o8que/books/bdcb9af27bdd7d
https://bibinbaleo.hatenablog.com/entry/2020/08/15/225055

myaonmyaon

モーションキャプチャ側のUnityはMediaPipeUnityPluginがあるから出来そうだけど沼深そう
https://www.northdetail.co.jp/blog/1586/
https://qiita.com/BARANCE_TW/items/c7ffdb311df84d47bddd
https://zenn.dev/genki86web/articles/6e61c167fbe926
https://bluebirdofoz.hatenablog.com/entry/2019/10/24/221517

myaonmyaon

残タスク

  • ARDKの平面設置に合わせてPhoton上のアバターも移動させる
  • VRMのボーンを操作できるようにする（ボーンにPhotonViewをあてる）
  • photon対応のMediaPipe製モーショントラッキングを実現する
myaonmyaon

１番上は出来なさそうかも。
暫定では平面検知なしで、スマホアプリの起動位置を地面すれすれにしてもらう

myaonmyaon

スマホアプリ側ではアバター生成しなくても良さそう。
するとしたらスマホの移動に合わせてアバターも移動させたいし、個別のアバターもセットできるようにしたい。