【Unity】uLipSyncをテスト

1 min read読了の目安(約1400字

概要

凹さんが作成したUnity用のリップシンク解析をラフにテストしました。
(OVRLipSyncとの比較も行っています)

https://github.com/hecomi/uLipSync

想定ユースケース

歌ってみた動画などで3Dモデルの口の動きを作成するために使用することを想定しています。

  • ボーカルのみのトラックを受け取り、そのデータからリップシンクを作成する
  • Windows環境のみ使用する

このため以下のことは想定していません。

  • トークなどのリアルタイム解析
  • uLipSyncにはキャリブレーション機能が搭載されているのですが、母音のみを発音したデータをもらうことは現実的に難しいので、この機能は使用しない。
  • iOSやAndroidのモバイルデバイス

環境

  • uLipSync 1.0.1
  • Unity 2019.4.11f1 (凹さんのブログにはUnity 2020.1.17f1と書かれていました2019.4でも動作しました)
  • Burst 1.3.9
  • Mathematics 1.2.1
  • Windows10

uLipSyncのデフォルトプリセット「Female」を使用しました。

利用モデル

https://hub.vroid.com/characters/945152946522067123/models/3383751442912063017

結果

口の形はモデルによって変わります。
見た目の審美性などはそれぞれの環境にて判断してください。

https://twitter.com/ChairpersonLily/status/1366620917556649997?s=20
https://twitter.com/ChairpersonLily/status/1366621775484776454?s=20

OVRLipSyncのとき伸ばす音に弱いです。
伸ばしている間に口を閉じてしまったりするので、その点uLipSync注目していました。

左:uLipSync, 右:OVRLipSync

uLipSyncは伸ばしている間もちゃんと口を開けているのでとても自然に見えますね。

テスト内容

uLipSyncBlendShapeのパラメータ設定
デフォルトでは口が大きく開いてしまうために自然に見えるように調整してみました。

OVRLipSyncは「あいうえお」だけを設定しました。

感想

uLipSyncはエディタ上の設定も簡単にできるように作り込まれています。(すごい)
動作は満足できる内容だったのでアプリへの実装等を考慮したいですね。

参考

Unity でリアルタイムにリップシンクを行うプラグインを更に作り直してみた