【NVIDIA Omniverse】Audio2faceでリップシンクアニメーションを動かす

前提

• 以下の記事を参考にOmniverseとAudio2faceをインストール済みであること

https://zenn.dev/headwaters/articles/40a8084fa19c1e

Exampleの音声で動かしてみる

1. Omniverseを開く
2. ライブラリーを開く
   
3. Audio2Face をクリックし、スタート をクリックする
   
4. Audio2Face が開いたことを確認する
5. 右上の「Get Started」をクリックする
   
6. 「Yes」をクリックする
   
7. Audio2Face T.. をクリックする
8. 再生ボタンをクリックする
   
9. 音声に合わせて顔が動くことを書くに確認する
   

mp4ファイルをwavに変換してオリジナル音声で動かしてみる

1. mp4ファイルを用意する
2. 以下のコードを実行し、mp4をwav形式に変換する

main.py

from moviepy.editor import AudioFileClip

# 動画ファイルの指定
video_file = "<mp4ファイルのパス>"

# 動画からAudioFileClipオブジェクトを生成
audio = AudioFileClip(video_file)

# .wavファイルとして保存
audio.write_audiofile(video_file.replace(".mp4", ".wav"))

3. Track Root Path をクリックし、wav形式のファイルがあるフォルダを選択する
   
4. 該当のwav形式のファイルを選択し、再生ボタンをクリックする
   
5. 音声に合わせて顔が動くことを書くに確認する
   

まとめ

Audio2faceでリップシンクアニメーションを動かしてみた。
自動で口角が動くのすげーと思いました。