VC HelperでMMVCのボイスチェンジャーを使う方法について説明します。
各プラットフォームでのアプリケーションの起動方法については、それぞれのページを参照してください。
前提
MMVCのモデルをトレーニング済みであることを想定しています。
まだトレーニングを行っていない方はMMVC公式のページに従ってトレーニングを行ってください。なお、MMVCに特化した音声の録音アプリはVC Helperで提供しているので、こちらをご利用になると便利だと思います。
画面構成
プラットフォームに応じたアプリケーションの起動を行うとブラウザで次の画面が表示されます。この画面でMMVCのコントロールを行います。
クイックスタート
下記の5ステップでボイスチェンジャーを使うことができます。
(1) モデルのアップロード
上図の(1)のselectボタンを押し、使用する(a)configファイルと(b)Correspondenceファイルと(c)MMVCのモデルファイルを選択します。この時、選択するモデルファイルは、PyTorch(.pth)とOnnx(.onnx)の両方でもどちらか一方でも問題ありません。選択したらuploadボタンを押してファイルをアプリにアップロードします。
(2) モデルのフレームワーク選択
上図の(2)のプルダウンメニューから、使用するフレームワークを選択します。この時選択するフレームワークに対応したモデルが(1)でアップロードされている必要があります。つまり、PyTorch(.pth)のモデルをアップロードした場合、PyTorchを選択してください。Onnx(.onnx)のモデルをアップロードした場合、ONNXを選択してください。
ONNXを選択すると更にプルダウンが表示されます。WindowsでGPUを使用する場合はCUDAExecutionProviderを選択してください。DirectMLを使用する場合はDmlExecutionProviderを選択してください。Macの場合はCPUExecutionProviderを選択してください。
(3) デバイス選択
上図(3)から、マイク(Audio Input)とスピーカー(Audio Output)の設定をします。
(3-1) マイク選択
使用可能なマイクの選択ではマイクに加えて音声ファイルの指定もできます。
ファイルを指定した場合は、音声プレイヤーが表示されます。
右のloadボタンで音声ファイルを選択してください。echobackにチェックを入れると返還前の音声も再生されます。不要の場合はチェックを外してください。
(3-2) スピーカー選択
出力先のスピーカーを選択します。
Voice Meterなどの仮想ケーブルがインストールされている場合は、それらを選択することができます。
(4) 話者選択
上図(4)で変換元(Source Speaker id)の話者と変換先(Destination Speaker id)の話者を選択します。
F0 Factorには、基本的にreccomendedに表示されている値を設定するようにしてください。
(5) 変換開始
上図(5)のstartボタンを押してボイチェンを開始します。
ボタンの下に音量(vol)、データバッファリング時間(buf)、変換時間(res)が表示されます。
変換時間の値が安定していれ問題なく変換されています。変換時間の値が徐々に大きくなる場合は、変換の処理速度が間に合っていません。この場合、音声がぶつぶつ途切れて聞こえてくるのでチューニングを行う必要があります。
デモ動画
上記の流れを実施した動画です。
詳細操作
その他詳細操作は次の章をご覧ください。