🔖

MMVCのボイスチェンジャーを使う方法(クイックスタート)

2023/01/17に公開約3,700字

MMVCのボイスチェンジャーを使う方法について説明します。
ここではMMVCのヘルパーアプリであるVC Helperを利用する方法を説明します。

VC Helperのソフトウェアの概要やダウンロードについてはこちら

各プラットフォームでのアプリケーションの起動方法については次のページを参照してください。
Mac Windows Colab Linux(or WSL2)

前提

MMVCのモデルをトレーニング済みであることを想定しています。
まだトレーニングを行っていない方はMMVC公式のページに従ってトレーニングを行ってください。なお、MMVCに特化した音声の録音アプリはVC Helperで提供しているので、こちらをご利用になると便利だと思います。(説明)

画面構成

プラットフォームに応じたアプリケーションの起動を行うとブラウザで次の画面が表示されます。この画面でMMVCのコントロールを行います。

image

クイックスタート

下記の5ステップでボイスチェンジャーを使うことができます。

image

(1) モデルのアップロード
上図の(1)のselectボタンを押し、使用するconfigファイルとMMVCのモデルファイルを選択します。この時、選択するモデルファイルは、PyTorch(.pth)とOnnx(.onnx)の両方でもどちらか一方でも問題ありません。選択したらuploadボタンを押してファイルをアプリにアップロードします。

(2) モデルのフレームワーク選択
上図の(2)のプルダウンメニューから、使用するフレームワークを選択します。この時選択するフレームワークに対応したモデルが(1)でアップロードされている必要があります。つまり、PyTorch(.pth)のモデルをアップロードした場合、PyTorchを選択してください。Onnx(.onnx)のモデルをアップロードした場合、ONNXを選択してください。

ONNXを選択すると更にプルダウンが表示されます。WindowsでGPUを使用する場合はCUDAExecutionProviderを選択してください。DirectMLを使用する場合はDmlExecutionProviderを選択してください。Macの場合はCPUExecutionProviderを選択してください。
image

(3) デバイス選択
上図(3)から、マイク(Audio Input)とスピーカー(Audio Output)の設定をします。

(3-1) マイク選択
使用可能なマイクの選択ではマイクに加えて音声ファイルの指定もできます。

image

ファイルを指定した場合は、音声プレイヤーが表示されます。
右のloadボタンで音声ファイルを選択してください。echobackにチェックを入れると返還前の音声も再生されます。不要の場合はチェックを外してください。

image

(3-2) スピーカー選択
出力先のスピーカーを選択します。
Voice Meterなどの仮想ケーブルがインストールされている場合は、それらを選択することができます。

image

(4) 話者選択
上図(4)で変換元(Source Speaker id)の話者と変換先(Destination Speaker id)の話者を選択します。

デフォルトでは公式推奨のトレーニングの設定の話者とidが表示されます。カスタマイズしている場合は、Edit Speaker MappingのエリアでIdと話者のマッピングを変更することができます。

(5) 変換開始
上図(5)のstartボタンを押してボイチェンを開始します。
ボタンの下に音量(vol)、データバッファリング時間(buf)、変換時間(res)が表示されます。

image

変換時間の値が安定していれ問題なく変換されています。変換時間の値が徐々に大きくなる場合は、変換の処理速度が間に合っていません。この場合、音声がぶつぶつ途切れて聞こえてくるのでチューニングを行う必要があります。

デモ動画

上記の流れを実施した動画です。

https://youtu.be/pf8GHoX-7q8

詳細操作

その他詳細操作はこちらをご覧ください。

Discussion

ログインするとコメントできます