Open3

VRoid Studio x Unity x Lipsync 2024/11/23調査

MaronMaron

2024/11/24時点で最新のバージョンのものを利用している。

ツール
VRoid Studio 1.29.4
Unity 6000.0.28f1

利用パッケージ
uLipSync v3.1.4
UniVRM v0.128.0

MaronMaron

uLipSync周りを調べれば、UnityでのLipSync実現方法はすぐヒットする。
https://note.com/ryuryu_game/n/n5f6d2b7b8a01

参考リンクはUnity-Chanをモデルとして利用しているが、VRoid Studioで吐き出したモデルはvrm形式なので、少し設定の仕方が変わる。U Lip Sync Blend ShapeSkinned Mesh Renderのところに、Faceのメッシュを設定する必要がある。

これでいけると踏んでいたが、そんなことなかった....

MaronMaron

VRM0だとSkinned Mesh Render経由で動かせるみたいなのだが、VRM1.0だとそれ経由が動かせないらしい。スクリプト経由で動かすしかなさそう。

https://marumaro7.hatenablog.com/entry/vrm10facesample
https://brand-new.tokyo/vrm1-expression

U Lip Sync Blend Shapeは使えないので、何か良さげなコンポーネントないかなと探していると、uLipSyncのサンプルの中にVRMがあり、uLipSyncExpressionVRM.csというものがあることを発見。

https://tips.hecomi.com/entry/2023/04/28/230437

uLipSyncExpressionVRM.csの依存周りが気に入らなかったので、少しロジックを修正したものを作成し、それを試してみることにする。

TBD...