<h1 id="%E6%A6%82%E8%A6%81">
<a class="header-anchor-link" href="#%E6%A6%82%E8%A6%81" aria-hidden="true"></a> 概要</h1>
<p>凹さんが作成したUnity用のリップシンク解析をラフにテストしました。<br>
(OVRLipSyncとの比較も行っています)</p>
<p><span class="embed-block zenn-embedded zenn-embedded-card"><iframe id="zenn-embedded__00ecdbaeb1528" src="https://embed.zenn.studio/card#zenn-embedded__00ecdbaeb1528" data-content="https%3A%2F%2Fgithub.com%2Fhecomi%2FuLipSync" frameborder="0" scrolling="no" loading="lazy"></iframe></span><a href="https://github.com/hecomi/uLipSync" style="display:none" target="_blank" rel="nofollow noopener noreferrer">https://github.com/hecomi/uLipSync</a></p>
<h1 id="%E6%83%B3%E5%AE%9A%E3%83%A6%E3%83%BC%E3%82%B9%E3%82%B1%E3%83%BC%E3%82%B9">
<a class="header-anchor-link" href="#%E6%83%B3%E5%AE%9A%E3%83%A6%E3%83%BC%E3%82%B9%E3%82%B1%E3%83%BC%E3%82%B9" aria-hidden="true"></a> 想定ユースケース</h1>
<p>歌ってみた動画などで3Dモデルの口の動きを作成するために使用することを想定しています。</p>
<ul>
<li>ボーカルのみのトラックを受け取り、そのデータからリップシンクを作成する</li>
<li>Windows環境のみ使用する</li>
</ul>
<p>このため以下のことは想定していません。</p>
<ul>
<li>トークなどのリアルタイム解析</li>
<li>uLipSyncにはキャリブレーション機能が搭載されているのですが、母音のみを発音したデータをもらうことは現実的に難しいので、この機能は使用しない。</li>
<li>iOSやAndroidのモバイルデバイス</li>
</ul>
<h1 id="%E7%92%B0%E5%A2%83">
<a class="header-anchor-link" href="#%E7%92%B0%E5%A2%83" aria-hidden="true"></a> 環境</h1>
<ul>
<li>uLipSync 1.0.1</li>
<li>Unity 2019.4.11f1 (凹さんのブログにはUnity 2020.1.17f1と書かれていました2019.4でも動作しました)</li>
<li>Burst 1.3.9</li>
<li>Mathematics 1.2.1</li>
<li>Windows10</li>
</ul>
<p>uLipSyncのデフォルトプリセット「Female」を使用しました。</p>
<p>利用モデル<br style="display:none">
<span class="embed-block zenn-embedded zenn-embedded-card"><iframe id="zenn-embedded__9ead1ed2da428" src="https://embed.zenn.studio/card#zenn-embedded__9ead1ed2da428" data-content="https%3A%2F%2Fhub.vroid.com%2Fcharacters%2F945152946522067123%2Fmodels%2F3383751442912063017" frameborder="0" scrolling="no" loading="lazy"></iframe></span><a href="https://hub.vroid.com/characters/945152946522067123/models/3383751442912063017" style="display:none" target="_blank" rel="nofollow noopener noreferrer">https://hub.vroid.com/characters/945152946522067123/models/3383751442912063017</a></p>
<h1 id="%E7%B5%90%E6%9E%9C">
<a class="header-anchor-link" href="#%E7%B5%90%E6%9E%9C" aria-hidden="true"></a> 結果</h1>
<p>口の形はモデルによって変わります。<br>
見た目の審美性などはそれぞれの環境にて判断してください。</p>
<p><span class="embed-block zenn-embedded zenn-embedded-tweet"><iframe id="zenn-embedded__2c5b3f64356a3" src="https://embed.zenn.studio/tweet#zenn-embedded__2c5b3f64356a3" data-content="https%3A%2F%2Ftwitter.com%2FChairpersonLily%2Fstatus%2F1366620917556649997%3Fs%3D20" frameborder="0" scrolling="no" loading="lazy"></iframe></span><a href="https://twitter.com/ChairpersonLily/status/1366620917556649997?s=20" style="display:none" target="_blank" rel="nofollow noopener noreferrer">https://twitter.com/ChairpersonLily/status/1366620917556649997?s=20</a><br style="display:none">
<span class="embed-block zenn-embedded zenn-embedded-tweet"><iframe id="zenn-embedded__d328fac3bd04" src="https://embed.zenn.studio/tweet#zenn-embedded__d328fac3bd04" data-content="https%3A%2F%2Ftwitter.com%2FChairpersonLily%2Fstatus%2F1366621775484776454%3Fs%3D20" frameborder="0" scrolling="no" loading="lazy"></iframe></span><a href="https://twitter.com/ChairpersonLily/status/1366621775484776454?s=20" style="display:none" target="_blank" rel="nofollow noopener noreferrer">https://twitter.com/ChairpersonLily/status/1366621775484776454?s=20</a></p>
<p>OVRLipSyncのとき伸ばす音に弱いです。<br>
伸ばしている間に口を閉じてしまったりするので、その点uLipSync注目していました。<br>
<img src="https://storage.googleapis.com/zenn-user-upload/cpaoqchzggpmsmmobamwgdunt4cq" alt loading="lazy" class="md-img"><br>
<em>左:uLipSync, 右:OVRLipSync</em></p>
<p>uLipSyncは伸ばしている間もちゃんと口を開けているのでとても自然に見えますね。</p>
<h1 id="%E3%83%86%E3%82%B9%E3%83%88%E5%86%85%E5%AE%B9">
<a class="header-anchor-link" href="#%E3%83%86%E3%82%B9%E3%83%88%E5%86%85%E5%AE%B9" aria-hidden="true"></a> テスト内容</h1>
<p>uLipSyncBlendShapeのパラメータ設定<br>
デフォルトでは口が大きく開いてしまうために自然に見えるように調整してみました。<br>
<img src="https://storage.googleapis.com/zenn-user-upload/4ywqxaic3vhpu56hopbuydmzbzfx" alt loading="lazy" class="md-img"></p>
<p>OVRLipSyncは「あいうえお」だけを設定しました。<br>
<img src="https://storage.googleapis.com/zenn-user-upload/ikwf9xl76k2h7uqw8zd1mimkp39z" alt loading="lazy" class="md-img"></p>
<h1 id="%E6%84%9F%E6%83%B3">
<a class="header-anchor-link" href="#%E6%84%9F%E6%83%B3" aria-hidden="true"></a> 感想</h1>
<p>uLipSyncはエディタ上の設定も簡単にできるように作り込まれています。(すごい)<br>
動作は満足できる内容だったのでアプリへの実装等を考慮したいですね。</p>
<h1 id="%E5%8F%82%E8%80%83">
<a class="header-anchor-link" href="#%E5%8F%82%E8%80%83" aria-hidden="true"></a> 参考</h1>
<p><a href="http://tips.hecomi.com/entry/2021/02/27/144722" target="_blank" rel="nofollow noopener noreferrer">Unity でリアルタイムにリップシンクを行うプラグインを更に作り直してみた</a></p>


【Unity】uLipSyncをテスト

Discussion