Zenn
🎤

MMVCのチュートリアル

2022/11/28に公開
AI
Google Colaboratory
#
mmvc
#
voicechanger
tech

MMVCとは？

AIを使ったリアルタイムボイスチェンジャー「MMVC(RealTime-Many to Many Voice Conversion)」
「簡単」「だれでも」「好きな声に」「リアルタイムで」をコンセプトとし、Google Colaboratoryを用いることで、個人の環境に依存せず、かつ簡単に機械学習の学習フェーズを実行可能です。

MMVCのチュートリアル

この記事の対応バージョン：v1.3.2.1
このチュートリアルでは、ユーザーの声をずんだもんに変換します。

0. 前提

本チュートリアルは、必ず以下の規約及びガイドラインを確認し同意した上で、ご使用ください。
MMVCの利用規約
東北ずん子プロジェクト　キャラクター利用の手引き

本チュートリアルでは、Google Colaboratoryを使用します。Google Colaboratoryの使用にはGoogleアカウントでのログインが必要となりますので、予めログインをお願いいたします。
また、Google Colaboratoryはモバイルデバイス向けに最適化されていません。画面サイズの大きいPCでご使用いただくことを強く推奨いたします。

1. MMVCのセットアップ

以下のリンクを開き、指示に従ってセットアップを行ってください。
Open In Colab

2. 音声の録音

セットアップの際に指定したフォルダの中のMMVC_Trainer-main / notebook / 00_Rec_Voice.ipynbを開き、指示に従って音声の録音を行ってください。

3. Configの作成

セットアップの際に指定したフォルダの中のMMVC_Trainer-main / notebook / 01_Create_Configfile.ipynbを開き、指示に従ってConfigファイルの作成を行ってください。但し、Configファイルの作成のオプションでは、ずんだもんを選択するようにしてください。

4. 学習

セットアップの際に指定したフォルダの中のMMVC_Trainer-main / notebook / 02_Train_MMVC.ipynbを開き、指示に従って学習を行ってください。

5. モデルの確認

数時間以上学習を行った後、お試しください。
セットアップの際に指定したフォルダの中のMMVC_Trainer-main / notebook / 03_MMVC_Interface.ipynbを開き、指示に従って非リアルタイムでの変換をお試しください。

過去のバージョン
v1.3.1.5

1. ITAコーパスのテキストのダウンロード

始めに、以下のファイルをダウンロードして解凍してください。
内容は、ITAコーパスのテキストをMMVC向けに配置した物です。
for_setup_v1.3.1.4_221128 - Google Drive






2. リポジトリのダウンロード

以下のリンクを開いてください。

Code - DownloadZIPをクリックし、ダウンロードされたZIPファイルを解凍してください。


3. ITAコーパスのテキストの配置

解凍したフォルダを開き、datasets / textful / 00_myvoice / textフォルダ(以下、テキスト保存先)の順に開いてください。
その後、1でダウンロードし解凍したフォルダを開き、emotion001.txtからemotion100.txtまでをテキスト保存先に移動させてください。

完了すると以下のような構成となります。

MMVC_Trainer-main
├── dataset
│   ├── textful
│   │   ├── 000_myvoice
│   │   │   ├── text
│   │   │   │   ├── emotion001.txt
│   │   │   │   ├── emotion002.txt
│   │   │   │   ├── ...


4. Google Driveへのアップロード

Google Driveの任意のフォルダに、MMVC_Trainer-mainフォルダをアップロードしてください。
なお、アップロードした場所(マイドライブからのパス)を忘れないようにしてください。


5. 音声の録音

アップロードしたMMVC_Trainer-main / notebook / 00_Rec_Voice.ipynbを開き、指示に従って音声の録音を行ってください。

6. Configの作成

アップロードしたMMVC_Trainer-main / notebook / 01_Create_Configfile.ipynbを開き、指示に従ってConfigファイルの作成を行ってください。

7. 学習

アップロードしたMMVC_Trainer-main / notebook / 02_Train_MMVC.ipynbを開き、指示に従って学習を行ってください。

8. モデルの確認

数時間以上学習を行った後、お試しください。
アップロードしたMMVC_Trainer-main / notebook / 03_MMVC_Interface.ipynbを開き、指示に従って非リアルタイムでの変換をお試しください。


お問い合わせ先

MMVCについてお困りの点がございましたら、以下の方法でお問い合わせください。

Discord

MMVCについての全般的なサポートを行っております。
招待リンクにつきましては、こちらのページをご覧ください。

提供されているサービス・リソースの一覧
  • MMVC開発陣やMMVCのユーザーによるサポート
  • FAQ(よくある質問)
  • MMVCについての全般的なお知らせや情報
    • リリース情報
    • 各ユーザーの環境での動作報告
  • フィードバックの受付
    • バグ報告
    • その他MMVCへの要望等
  • 開発情報
    • MMVCのコアシステム
    • Jupyter NotebookのUI
    • ドキュメントの整備
    • 各種検証結果
  • etc.


Twitter

ハッシュタグ#MMVC_QAをつけてツイートしていただくことで、MMVC公式アカウントよりサポートが受けられます。

GitHub

MMVC_TrainerリポジトリのWikiにて、各種情報を掲載しております。
isletennos/MMVC_Trainer/wiki よりご確認ください。

Links

GitHub - isletennos/MMVC_Trainer
GitHub - isletennos/MMVC_Client

GitHubで編集を提案

Discussion