🙌
【Unity】uLipSyncをテスト
概要
凹さんが作成したUnity用のリップシンク解析をラフにテストしました。
(OVRLipSyncとの比較も行っています)
想定ユースケース
歌ってみた動画などで3Dモデルの口の動きを作成するために使用することを想定しています。
- ボーカルのみのトラックを受け取り、そのデータからリップシンクを作成する
- Windows環境のみ使用する
このため以下のことは想定していません。
- トークなどのリアルタイム解析
- uLipSyncにはキャリブレーション機能が搭載されているのですが、母音のみを発音したデータをもらうことは現実的に難しいので、この機能は使用しない。
- iOSやAndroidのモバイルデバイス
環境
- uLipSync 1.0.1
- Unity 2019.4.11f1 (凹さんのブログにはUnity 2020.1.17f1と書かれていました2019.4でも動作しました)
- Burst 1.3.9
- Mathematics 1.2.1
- Windows10
uLipSyncのデフォルトプリセット「Female」を使用しました。
利用モデル
結果
口の形はモデルによって変わります。
見た目の審美性などはそれぞれの環境にて判断してください。
OVRLipSyncのとき伸ばす音に弱いです。
伸ばしている間に口を閉じてしまったりするので、その点uLipSync注目していました。
左:uLipSync, 右:OVRLipSync
uLipSyncは伸ばしている間もちゃんと口を開けているのでとても自然に見えますね。
テスト内容
uLipSyncBlendShapeのパラメータ設定
デフォルトでは口が大きく開いてしまうために自然に見えるように調整してみました。
OVRLipSyncは「あいうえお」だけを設定しました。
感想
uLipSyncはエディタ上の設定も簡単にできるように作り込まれています。(すごい)
動作は満足できる内容だったのでアプリへの実装等を考慮したいですね。
Discussion