<h2 id="%E5%88%9D%E3%82%81%E3%81%AB">
<a class="header-anchor-link" href="#%E5%88%9D%E3%82%81%E3%81%AB" aria-hidden="true"></a> 初めに</h2>
<p>はじめまして、Toshikiです！<br>
最近、拡散モデルより高速なFlow Matchingが画像や音声の生成に使用されてきています。<br>
そこで、Flow Matchingの技術を音声合成に初めて適応したMatch-TTSという音声合成モデルを実際に動かしてみました！</p>
<p>本記事では、Match-TTSの各部の処理などに関して、簡単に解説します。論文を読んでみましたが理解し切れていない部分も多く、もし誤りなどあればコメントしていただけると嬉しいです！</p>
<h2 id="%E6%8B%A1%E6%95%A3%E3%83%A2%E3%83%87%E3%83%AB%E3%81%A8flowmatching">
<a class="header-anchor-link" href="#%E6%8B%A1%E6%95%A3%E3%83%A2%E3%83%87%E3%83%AB%E3%81%A8flowmatching" aria-hidden="true"></a> 拡散モデルとFlowMatching</h2>
<p>拡散モデルは、画像生成やモーション生成、音声合成等の幅広い生成タスクにおいて、高品質な生成を達成している今流行りの手法です。拡散モデルでは、例えばデータ分布を正規分布へ段々と変換する等の拡散過程を定義して、その逆過程を辿る処理をベースにサンプルが行われますが、この逆過程を辿る際には多くの繰り返しの処理が必要になり、生成が遅いという欠点があります。<br>
この問題に対して、拡散/逆過程は確率微分方程式(SDE)やそれに対応する常微分方程式(ODE)など数値解手法として書き換えることで、サンプル速度をあげることが可能です。ですが、正確に解くためにまだ多くの繰り返し処理が必要です。</p>
<p>そこで、<a href="https://openreview.net/pdf?id=PqvMRDCJT9t" target="_blank" rel="nofollow noopener noreferrer">FlowMatching</a>という技術が提案されています。<br>
Flow Matchingは、拡散モデルの発展というよりは、Normalizing Flowを連続にしたContinuous Normalizing Flow(CNF)にODEを適用して解くイメージで、CNFの時間変化であるベクトル場を学習します。そして、これを学習データのサンプルから学習できるようにしたものがConditional Flow Matching (CFM) です。<br>
CFMは、既に拡散モデルより効率的なサンプルが出来ますが、最適輸送を用いて分布間のマッピングを効率化し、安定した学習と高速な生成が出来る最適輸送(Optimal Transport; OT)-CNFが提案されています。<br>
このOT-CFMを用いた音声合成モデルであるMatch-TTSを解説します。</p>
<h2 id="matcha-tts%F0%9F%8D%B5">
<a class="header-anchor-link" href="#matcha-tts%F0%9F%8D%B5" aria-hidden="true"></a> Matcha-TTS🍵</h2>
<p>Matcha-TTSは、既存TTSモデルである<a href="https://arxiv.org/abs/2105.06337" target="_blank" rel="nofollow noopener noreferrer">Grad-TTS</a>を踏襲しつつ、デコーダ部分にFlow Matchingの技術を適応したText-to-Speechモデルです。実際には出力はメルスペクトログラムになるので、音声を出力するためには別途メルペクトログラムから音声を生成するVocoder等が必要になります。また、OT-CFMのベクトル場をモデル化する際にStableDiffusionを参考にした1D U-NETを用いている点も特徴かなと思います。<br>
以下の図はMatcha-TTSの論文より音声合成時の概略図になります。<br>
<img src="https://storage.googleapis.com/zenn-user-upload/e66f7572725b-20231130.png" loading="lazy" class="md-img"><br>
以下、各モジュールが何をしているのか簡単に解説していきます。</p>
<h3 id="phonetize">
<a class="header-anchor-link" href="#phonetize" aria-hidden="true"></a> Phonetize</h3>
<p>Phonetize部では、入力された文を音素単位へと変換する処理を行います。しばしばg2p(Grapheme To Phoneme)とも表記されています。日本語での処理の具体例を挙げると、「こんにちは」を入力すれば「k o N n i ch i w a」という音素列に変換されるイメージです。<br>
文字列のままではモデルに入力することができないので、実装では各音素に対応する整数値を割り当てて、音声合成モデルの入力として処理をさせます。学習対象のパラメータはありません。</p>
<h3 id="textencoder">
<a class="header-anchor-link" href="#textencoder" aria-hidden="true"></a> TextEncoder</h3>
<p>Phonetize部から受け取ったテキスト情報は、最初にTextEncoder内のnn.Embeddingsによって埋め込まれ、Transformer部で各テキストやその前後関係を考慮した潜在表現へとエンコードされます。TextEncoderには、TransformerのEncoderとほぼ同様のものを用いていますが、全結合ではなく畳み込みベースの処理で射影を行い、通常のsincos位置埋め込みではなく位置情報を回転させることでより効果的にエンコードする<a href="https://arxiv.org/abs/2104.09864" target="_blank" rel="nofollow noopener noreferrer">RoPE</a>を使用して位置埋め込みしています。最後にTransformer部から出てきた潜在表現は射影され、テキスト潜在表現として出力されます。</p>
<h3 id="monotonic-alignment-search">
<a class="header-anchor-link" href="#monotonic-alignment-search" aria-hidden="true"></a> Monotonic Alignment Search</h3>
<p>学習時のみ必要なため、音声合成時の概略図には載っていませんが簡単に解説します。<br>
学習データとして発話テキストと音声データを与えていますが、音声のどの時刻にどの音素が発声されているのか、教師データとして与えていません。Matcha-TTSでは、モデル内部で音素の区間を判定する手法の一つであるMonotonic Alignment Search(MAS)を用いています。<br>
MASの処理としては、今回はメルスペクトログラムを→列(len_mel)として、テキスト潜在表現を↑行(len_text)にとり、各々に対応する対数尤度を計算してlen_text×len_melの行列を取得します。下の図では、一つ一つの〇に対数尤度が格納されているイメージです。</p>
<p><img src="https://storage.googleapis.com/zenn-user-upload/a8a2cc023c46-20231130.png" width="400" loading="lazy" class="md-img"></p>
<p>その後、進める方向を→(1,0)方向か↗(1,1)方向のみに制限して、スタート(1,1)からゴール(len_text,len_mel)への経路を探索したときに、対数尤度の合計が最大になるような経路を取得します。<br>
学習時はMASを用いて取得した経路から各音素が話されていた長さを判定し、判定された長さを用いて、テキスト潜在表現はメルスペクトログラムの長さにUpsampleされ、次のFlowPredictionNetworkへと渡されます。MASは各音素の区間を探索する手法であり、学習パラメータはありません。</p>
<h3 id="durationpredictor">
<a class="header-anchor-link" href="#durationpredictor" aria-hidden="true"></a> DurationPredictor</h3>
<p>推論時の入力はテキストのみです。そのため、MASを使用して各音素が話されていた長さを求める事が出来ません。これに対応するために、射影前のテキスト潜在表現を入力として、各音素が話されていた長さを予測するDurationPredictorもモデル内部で学習しておきます。これにより推論時にもテキスト潜在表現をUpsampleすることができます。<br>
実装としては、"一次元畳み込み⇒ReLU関数⇒正規化処理"の二層を処理したのちに射影するような処理を行っています。</p>
<h3 id="flowpredictionnetwork">
<a class="header-anchor-link" href="#flowpredictionnetwork" aria-hidden="true"></a> FlowPredictionNetwork</h3>
<p>メルスペクトログラムの長さにUpsampleされたテキスト潜在表現を条件付けとして、OT-CNFを用いて、ノイズからメルスペクトログラムへの変換をマッピングします。ベクトル場のモデル化には<a href="https://qiita.com/omiita/items/ecf8d60466c50ae8295b#42-attnblock-%E3%83%86%E3%82%AD%E3%82%B9%E3%83%88%E3%81%AB%E3%82%88%E3%82%8B%E6%9D%A1%E4%BB%B6%E4%BB%98%E3%81%91" target="_blank" rel="nofollow noopener noreferrer">StableDiffusionを参考にしたU-NET</a>の構造を使用しますが、条件付けの方法としてはStableDiffusionのTransformer部でのCrossAttentionの手法を取らずに、ノイズとテキスト潜在表現とのconcatで対応します。以下は論文よりMatchaTTSに使われている1D U-NET構造です。</p>
<p><img src="https://storage.googleapis.com/zenn-user-upload/cf30e347daac-20231130.png" width="550" loading="lazy" class="md-img"></p>
<p>データとノイズから計算したベクトル場をU-NETが真似して出せるように学習し、推論時はモデル化したベクトル場を用いてノイズをメルスペクトログラムへ変換します。</p>
<h3 id="%E6%90%8D%E5%A4%B1%E9%96%A2%E6%95%B0">
<a class="header-anchor-link" href="#%E6%90%8D%E5%A4%B1%E9%96%A2%E6%95%B0" aria-hidden="true"></a> 損失関数</h3>
<p>損失関数は３つあり、この損失関数の値が小さくなるように各モジュールのパラメータを更新して学習していきます。</p>
<ol>
<li>DurationPredictorの部分で、MASから取得した値とDurationPredictorが予測した値との対数スケールでの平均二乗誤差です。これにより、推論時に各音素が話されていた長さを予測できることを主に期待します。</li>
<li>FlowPredictionNetworkの部分で、データとノイズから計算したベクトル場とU-NETにて予測したベクトル場の平均二乗誤差です。これにより、推論時に、条件付けの値を用いてノイズをメルスペクトログラムへと変換するようなベクトル場を得られることを主に期待します。</li>
<li>TextEncoderとMASに主に関わる部分で、メルスペクトログラムとUpsampleされたテキスト潜在表現との事前誤差(計算上はほぼ平均二乗誤差)です。これにより、各音素ごとのテキスト潜在表現が対応するメルスペクトログラムの値に寄っていき、MASによって行われている各音素の話されていた長さ判定が改善されていくことを主に期待します。</li>
</ol>
<h2 id="%E7%94%9F%E6%88%90%E9%9F%B3%E5%A3%B0%E7%A2%BA%E8%AA%8D">
<a class="header-anchor-link" href="#%E7%94%9F%E6%88%90%E9%9F%B3%E5%A3%B0%E7%A2%BA%E8%AA%8D" aria-hidden="true"></a> 生成音声確認</h2>
<p>今回はLJSpeechの英語音声で学習された<a href="https://github.com/shivammehta25/Matcha-TTS" target="_blank" rel="nofollow noopener noreferrer">Matcha-TTS</a>の重みが公開されていたので流用できる重みは流用しつつ、日本語学習データとしてITAコーパスより381文を用いてファインチューニングしました。また、Matcha-TTSはメルスペクトログラムを生成するモデルになるので、メルスペクトログラムを音声データに変換するためにVocoderを外付けする必要があります。今回VocoderにはLJSpeechの英語音声で学習した<a href="https://github.com/jik876/hifi-gan#pretrained-model" target="_blank" rel="nofollow noopener noreferrer">HiFi GAN(LJ_FT_T2_V1)</a>を使用しており、日本語の学習音声でのファインチューニングは行っておりません。<br>
以下生成音声サンプルです。こちらの音声は学習時に使用していないものになります。</p>
<ul>
<li><a href="https://drive.google.com/file/d/1sfdfGahINVG-PFRT4jKp9ZmwAfgBK9my/view?usp=sharing" target="_blank" rel="nofollow noopener noreferrer">RECITATION324_319 1steps</a></li>
<li><a href="https://drive.google.com/file/d/1I0ScMvZAyVe3gooiwI3RdR-lVu_QF5mO/view?usp=sharing" target="_blank" rel="nofollow noopener noreferrer">RECITATION324_319 5steps</a></li>
<li><a href="https://drive.google.com/file/d/1wWes7uIPyv_Ra80OYgcZ-Qh1Ukbd2vqn/view?usp=sharing" target="_blank" rel="nofollow noopener noreferrer">RECITATION324_319 10steps</a></li>
<li><a href="https://drive.google.com/file/d/1idV9RBWuuXWyXURTo55pic3l2phDO6jL/view?usp=sharing" target="_blank" rel="nofollow noopener noreferrer">RECITATION324_319 100steps</a></li>
<li><a href="https://drive.google.com/file/d/1yco818zBNA-QMD-HzFMIBCBk4EI7pJZw/view?usp=sharing" target="_blank" rel="nofollow noopener noreferrer">RECITATION324_243 1steps</a></li>
<li><a href="https://drive.google.com/file/d/1Xcco1IwtYKfNjTkznN7g3Zl-WjLt0Vmx/view?usp=sharing" target="_blank" rel="nofollow noopener noreferrer">RECITATION324_243 5steps</a></li>
<li><a href="https://drive.google.com/file/d/1lQvlrJrqApYGzDJ0aXrpX2w5DqeV87fE/view?usp=sharing" target="_blank" rel="nofollow noopener noreferrer">RECITATION324_243 10steps</a></li>
<li><a href="https://drive.google.com/file/d/11OrsfqkGE-oNYWmlRIeSJCi6SW2NqPff/view?usp=sharing" target="_blank" rel="nofollow noopener noreferrer">RECITATION324_243 100steps</a></li>
</ul>
<p>繰り返し処理の回数が1回でも悪くない音声になっていると感じます。5stepでもなかなか綺麗な音声が出ていると感じました。<br>
また、MatchaTTSの各繰り返し数におけるRTF(処理時間/音声時間)は以下になります。RTX4060を使用した際の処理速度になります。</p>
<ul>
<li>RTF  (1steps) : 0.056392 ± 0.023501</li>
<li>RTF  (5steps) : 0.086359 ± 0.027581</li>
<li>RTF (10steps) : 0.113689 ± 0.035634</li>
<li>RTF(100steps) : 0.722644 ± 0.232213</li>
</ul>
<h2 id="%E3%81%8A%E3%82%8F%E3%82%8A">
<a class="header-anchor-link" href="#%E3%81%8A%E3%82%8F%E3%82%8A" aria-hidden="true"></a> おわり</h2>
<p>より大規模な日本語データセット等で学習させたり、Vocoder自体も日本語音声でファインチューニングすることで、精度はより上がると思われますが、今回はここまでです。Matcha-TTSのFlowPredictionNetwork部分を<a href="https://zenn.dev/discus0434/articles/484be111f7862d" target="_blank">ConsistencyModels</a>(ConsistencyTraining)に変更して、処理の速度や精度の比較を行う為に色々頑張っていましたが上手く学習してくれず、Matcha-TTSの紹介と生成音声の紹介で終わってしまいました。<br>
次は、大規模な日本語データセットを用いて学習、ConsistencyModelsに変更して失敗した原因を探索、メルスペクトログラムではなく音声を直接出すようEnd-to-Endな形に改造、OT-CFMでのPitchやVolumeの生成、等に挑戦できたら楽しそうだなと思っています。</p>
<p>最後に宣伝になりますが、機械学習でビジネスの成長を加速するために、<a href="https://fusic.co.jp/" target="_blank" rel="nofollow noopener noreferrer">Fusic</a>学習チームがお手伝いしています。機械学習のPoCから運用まで、すべての場面でサポートした実績があります。もし、困っている方がいましたら、ぜひ<a href="https://fusic.co.jp/" target="_blank" rel="nofollow noopener noreferrer">Fusic</a>にご相談ください。<a href="https://fusic.co.jp/contact" target="_blank" rel="nofollow noopener noreferrer">問い合わせ</a>から気軽にご連絡いただけます！</p>
<h2 id="%E5%8F%82%E8%80%83%E6%96%87%E7%8C%AE">
<a class="header-anchor-link" href="#%E5%8F%82%E8%80%83%E6%96%87%E7%8C%AE" aria-hidden="true"></a> 参考文献</h2>
<blockquote>
<p><a href="https://arxiv.org/pdf/2309.03199v1.pdf" target="_blank" rel="nofollow noopener noreferrer">Matcha-TTS: A fast TTS architecture with conditional flow matching</a><br>
<a href="https://github.com/shivammehta25/Matcha-TTS" target="_blank" rel="nofollow noopener noreferrer">Github : Matcha-TTS</a><br>
<a href="https://openreview.net/pdf?id=PqvMRDCJT9t" target="_blank" rel="nofollow noopener noreferrer">Flow Matching for Generative Modeling</a><br>
<a href="https://zenn.dev/discus0434/articles/484be111f7862d" target="_blank">Consistency Models: 1~4stepsで画像が生成できる、新しいスコアベース生成モデル<br>
</a><br>
<a href="https://zenn.dev/zenn/articles/markdown-guide" target="_blank">ZennのMarkdown記法一覧</a><br>
<a href="https://arxiv.org/abs/2105.06337" target="_blank" rel="nofollow noopener noreferrer">Grad-TTS: A Diffusion Probabilistic Model for Text-to-Speech</a><br>
<a href="https://arxiv.org/abs/2005.11129" target="_blank" rel="nofollow noopener noreferrer">Glow-TTS: A Generative Flow for Text-to-Speech via Monotonic Alignment Search</a></p>
</blockquote>


【音声合成】Matcha-TTS🍵で日本語音声を生成してみる

Discussion