MMVCのチュートリアル
MMVCとは?
AIを使ったリアルタイムボイスチェンジャー「MMVC(RealTime-Many to Many Voice Conversion)」
「簡単」「だれでも」「好きな声に」「リアルタイムで」をコンセプトとし、Google Colaboratoryを用いることで、個人の環境に依存せず、かつ簡単に機械学習の学習フェーズを実行可能です。
MMVCのチュートリアル
この記事の対応バージョン:v1.3.2.1
このチュートリアルでは、ユーザーの声をずんだもんに変換します。
0. 前提
本チュートリアルは、必ず以下の規約及びガイドラインを確認し同意した上で、ご使用ください。
MMVCの利用規約
東北ずん子プロジェクト キャラクター利用の手引き
本チュートリアルでは、Google Colaboratoryを使用します。Google Colaboratoryの使用にはGoogleアカウントでのログインが必要となりますので、予めログインをお願いいたします。
また、Google Colaboratoryはモバイルデバイス向けに最適化されていません。画面サイズの大きいPCでご使用いただくことを強く推奨いたします。
1. MMVCのセットアップ
以下のリンクを開き、指示に従ってセットアップを行ってください。
2. 音声の録音
セットアップの際に指定したフォルダの中のMMVC_Trainer-main / notebook / 00_Rec_Voice.ipynbを開き、指示に従って音声の録音を行ってください。
3. Configの作成
セットアップの際に指定したフォルダの中のMMVC_Trainer-main / notebook / 01_Create_Configfile.ipynbを開き、指示に従ってConfigファイルの作成を行ってください。但し、Configファイルの作成のオプションでは、ずんだもんを選択するようにしてください。
4. 学習
セットアップの際に指定したフォルダの中のMMVC_Trainer-main / notebook / 02_Train_MMVC.ipynbを開き、指示に従って学習を行ってください。
5. モデルの確認
数時間以上学習を行った後、お試しください。
セットアップの際に指定したフォルダの中のMMVC_Trainer-main / notebook / 03_MMVC_Interface.ipynbを開き、指示に従って非リアルタイムでの変換をお試しください。
過去のバージョン
v1.3.1.5
1. ITAコーパスのテキストのダウンロード
始めに、以下のファイルをダウンロードして解凍してください。
内容は、ITAコーパスのテキストをMMVC向けに配置した物です。
for_setup_v1.3.1.4_221128 - Google Drive
2. リポジトリのダウンロード
以下のリンクを開いてください。
Code - DownloadZIPをクリックし、ダウンロードされたZIPファイルを解凍してください。
3. ITAコーパスのテキストの配置
解凍したフォルダを開き、datasets / textful / 00_myvoice / textフォルダ(以下、テキスト保存先)の順に開いてください。
その後、1でダウンロードし解凍したフォルダを開き、emotion001.txtからemotion100.txtまでをテキスト保存先に移動させてください。
完了すると以下のような構成となります。
MMVC_Trainer-main
├── dataset
│ ├── textful
│ │ ├── 000_myvoice
│ │ │ ├── text
│ │ │ │ ├── emotion001.txt
│ │ │ │ ├── emotion002.txt
│ │ │ │ ├── ...
4. Google Driveへのアップロード
Google Driveの任意のフォルダに、MMVC_Trainer-mainフォルダをアップロードしてください。
なお、アップロードした場所(マイドライブからのパス)を忘れないようにしてください。
5. 音声の録音
アップロードしたMMVC_Trainer-main / notebook / 00_Rec_Voice.ipynbを開き、指示に従って音声の録音を行ってください。
6. Configの作成
アップロードしたMMVC_Trainer-main / notebook / 01_Create_Configfile.ipynbを開き、指示に従ってConfigファイルの作成を行ってください。
7. 学習
アップロードしたMMVC_Trainer-main / notebook / 02_Train_MMVC.ipynbを開き、指示に従って学習を行ってください。
8. モデルの確認
数時間以上学習を行った後、お試しください。
アップロードしたMMVC_Trainer-main / notebook / 03_MMVC_Interface.ipynbを開き、指示に従って非リアルタイムでの変換をお試しください。
お問い合わせ先
MMVCについてお困りの点がございましたら、以下の方法でお問い合わせください。
Discord
MMVCについての全般的なサポートを行っております。
招待リンクにつきましては、こちらのページをご覧ください。
提供されているサービス・リソースの一覧
- MMVC開発陣やMMVCのユーザーによるサポート
- FAQ(よくある質問)
- MMVCについての全般的なお知らせや情報
- リリース情報
- 各ユーザーの環境での動作報告
- フィードバックの受付
- バグ報告
- その他MMVCへの要望等
- 開発情報
- MMVCのコアシステム
- Jupyter NotebookのUI
- ドキュメントの整備
- 各種検証結果
- etc.
ハッシュタグ#MMVC_QAをつけてツイートしていただくことで、MMVC公式アカウントよりサポートが受けられます。
GitHub
MMVC_TrainerリポジトリのWikiにて、各種情報を掲載しております。
isletennos/MMVC_Trainer/wiki よりご確認ください。
Links
GitHub - isletennos/MMVC_Trainer
GitHub - isletennos/MMVC_Client
Discussion