【Meta Humans×Live Link】デジタルヒューマンをフェイシャルキャプチャで動かす

2 min read読了の目安(約2500字

この記事のゴール

Unreal EngineにからリリースされたMetaHumansのデジタルヒューマンに対して、iPhoneのフェイシャルキャプチャを用いてリアルタイムで顔を動かします。

こんな感じで!

https://twitter.com/iwaken71/status/1359820023485763585?s=20

手順

  • MetaHumansをimport
  • Facial Capture用のレベルを作成
  • iPhoneにLive Link Face Appをインストール&起動
  • Live Link用の設定
  • 再生して確認

開発環境

  • Unreal Engine4.26 (以下UE4)
    • 現在4.26のみ動作します
  • Windows10
  • iPhone11
    • FaceID搭載の機種であれば可能
  • Wifi環境

MetaHumansをimport

こちらの記事でimportお願いします!

https://zenn.dev/iwaken71/articles/metahumans-unrealengine-sample

Facial Capture用のレベルを作成

  • 空のレベルを新規作成し、"Facial"などと名前を付ける
  • Content/SampleMetaHumans/metahuman_004/BP_metahuman_004をレベルに追加
  • BP_metahuman_004のTransformのLocationを(0,0,0),Rotation(0,0,90)に設定する
  • Persistent LevelにMH_Gen4Lightingを追加

空のレベルを新規作成し、"Facial"などと名前を付ける

image

Content/SampleMetaHumans/metahuman_004/BP_metahuman_004をレベルに追加

image

BP_metahuman_004のTransformのLocationを(0,0,0),Rotation(0,0,90)に設定する

image

Persistent LevelにMH_Gen4Lightingを追加
Levelsウィンドウが存在しない場合は [Window]>[Levels]を選択。

image

iPhoneにLive Link Face Appをインストール&起動

  • iPhoneにインストール&起動
  • PCとiPhoneで同じWifiに入る
  • [設定]>[Live Link]>[ターゲット追加]>PCのIPアドレスを入力
  • お好み設定
    • 頭の回転をストリームにチェックを入れる

iPhoneにインストール

https://apps.apple.com/us/app/live-link-face/id1495370836

[設定]>[Live Link]>[ターゲット追加]>PCのIPアドレスを入力
image

頭の回転をストリームにチェックを入れる (お好み)
チェックを入れると頭の回転も反映させるようになる。
image

Live Link用の設定

UE4の[Window]>[Live Link]を選択する。

iPhoneのLive Link Face Appのカメラモードで自分の顔を認識させている状態で、UE4のLive Linkがつながっているか確認する。

image

BP_metahuman_004を選択し、[LLink Face Subj]にてiPhoneを選択する。
お好みで[LLink Face Head]にチェックを入れる。チェックを入れると頭の回転も反映するようになる。
image

再生して確認

UE4のプレイボタンで再生!