UnrealEngineでWebカメラ一台だけでフルトラVtuber配信してみる[VRフィットネス配信]
えいとびーと体重が限界突破してきたので、VRフィットネスをすると決めた。
せっかくなので配信してモチベーション上げていこうと思い、さらにせっかくなのでUnrealEngineで配信スタジオを製作しようと思い立ったので投稿
VRなのでフルトラでやらなきゃじゃん？と思ったのでフルトラします
目標
UnrealEngineでVRフィットネスゲーム配信スタジオを製作する
準備するもの
・UnrealEngine
・OWLプラグイン（UnrealとOBSを接続する）
・OBS
・TDPT（Webカメラから画像認識で骨格検出して疑似フルトラできる）
えいとびーとTDPD(Three D pose tracker)
激推しのモーションキャプチャアプリ！
Webカメラ１台だけで、画像から骨格を検出してフルトラッキングができる。
使ってみると、予想以上にぶれない。ターンの動作もトラッキングできて正直恐ろしい。
トラッカーの装着無しなので、本当に敷居が低い！是非とも試してほしい 推せる！
全身を写してやる必要があるので、広角のカメラが必要
えいとびーとOWLプラグイン
OFF WORLD LIVEが提供するUnrealEngineとOBSのプラグイン
UnrealEngineのカメラ映像をOBSに出力する役割のほか、プレイしているVRゲームの映像を
UnrealEngine側に出力する役割も担う。
えいとびーとTDPTのトラッキングをUnrealEngineに反映させる
UnrealEngineに好みのVRMアバターを持っていき、アバターに自分のモーションをトラッキングする。
そのためには、TDPTで得たモーションデータをリアルタイムにUnreal側に持っていく必要がある
今回、TDPTをリアルタイムにUnreal側に出力する方法があったのでこれを参考にしていく
えいとびーとUnrealEngineに動かしたいVRMモデルをインポートし､それをTDPTからOSC(なんか信号を送る)を経由してUnrealにトラッキング情報を持っていく｡
VRMをUEで開くために､VMC4UEのプラグインをダウンロード｡
VMC4UEはOSCを経由してUnrealにトラッキングを送信するので､それを可能にするUEoscPluginもダウンロード｡
上記2つを､プロジェクトのPluginsにペーストする｡
VMC4UE
UEosc Plugin
えいとびーとVRMMapExporterをつかって､ボーンをどうたらしないといけない
えいとびーとVRMHumanoidDescription･････???
えいとびーとUniVRMと､VRMMapのUnityPackageをつっこみーの
VRMMapをエクスポートしようとしたら､VRMHumanoidDescription ､VRMBlendShapeProxyがねーぞと怒られた｡スクリプトにAdd Component していく｡
えいとびーとUnrealにVRMMapを突っ込む
次に､アニメーションブループリントを作成､突っ込んだVRMを選択する
えいとびーと
portをつっこめええええええ