🐰でもわかるDia 1.6B - 資金ゼロから生まれた革命的音声合成AI

音声合成スタートアップ「Dia」の台頭

こんにちは！🐰です。今日は音声合成の世界に革命を起こしつつある新興スタートアップ「Nari Labs」と彼らが開発した音声合成AI「Dia」について紹介するぴょん！

最近、AIによる音声合成（Text-to-Speech、略してTTS）技術が急速に進化していますが、Diaはその中でも特に注目すべき存在です。たった2人のチームで開発されたこのモデルは、ElevenLabsやOpenAIなどの大企業が提供するサービスと肩を並べる、あるいは一部の機能では上回る性能を実現しています。

しかも完全無料のオープンソースとして公開されているんだぴょん！これはすごいことなんです！

Nari Labsとは？資金ゼロから生まれた驚異のモデル

Nari Labsは、わずか2人で構成される小さなスタートアップです。共同開発者のToby Kim氏によれば、彼らは「最初からAIの専門家ではなかった」とのこと。

開発の原動力となったのは、GoogleのNotebookLMのポッドキャスト機能に感動したことでした。「より多くの声のコントロール、より自由なスクリプトを望んだ」という彼らは、既存サービスでは満足できず、自ら理想の音声モデルを作り出す道を選んだのです。

驚くべきことに、「資金ゼロ」で開発されたDiaは、GoogleのTPU Research Cloudを通じてTPUチップを利用できたことが成功の鍵となりました。また、Hugging FaceのZeroGPUスポンサーシップも活用し、外部資金なしでこの驚異的なシステムを構築しています。

現在、そのコードとモデルウェイトはHugging FaceとGithubで誰でも無料で利用できるようになっています。オープンソースとして公開されていることで、音声技術の民主化に大きく貢献しているんだぴょん！

Diaの技術的特徴：感情豊かな対話生成が可能

Diaの最大の魅力は、感情表現や話者タグ、非言語的な音声キューを自然に表現できる点にあります。

複数話者の対話生成

[S1]や[S2]などのタグを使って話者を区別することで、複数の人物による自然な対話を生成できます。同じシード値を使うと、これらの声は対話全体を通して一貫性を保ちます。

例えば：

[S1] こんにちは、今日の天気はどうですか？
[S2] とても良い天気ですね。散歩でもいかがですか？
[S1] いいですね！(laughs) ちょうど運動不足だったんです。

このようなスクリプトから、まるで実際の会話のような音声を生成できるんです！

非言語コミュニケーションの再現

「(laughs)」や「(coughs)」などの指示を入れると、実際の笑い声や咳を自然に再現できます。一般的な音声合成では難しいとされるこれらの表現を、Diaはプレーンテキストからシームレスに生成可能です。

他のモデルでは「haha」と言葉として発するだけなのに対し、Diaは実際の自然な笑い声を生成するんだぴょん！

音声クローニング機能

特定の話者の声に縛られない柔軟性も持ち合わせています。ユーザーが15秒程度の音声サンプルをアップロードすれば、その特徴（声質・滑舌・ブレス音など）を反映した音声生成も可能です。

業界最高峰の製品と比較しても引けを取らない実力

Nari Labsは自社ウェブサイトで、DiaとElevenLabs Studio、Sesame CSM-1Bとの比較サンプルを公開しています。その結果は、多くの点でDiaが優位性を示すものでした。

特に際立つのは非言語表現の処理能力です。「(laughs)」というタグがスクリプトにある場合を比較すると：

• Dia：実際の自然な笑い声を生成
• 競合製品：「haha」という言葉を発するだけ

さらに感情表現においても、Diaは大きな強みを見せています。緊急事態を描いた劇的なシーンのテストでは、Diaが話者の緊張感やストレスを効果的に表現する一方、他のモデルでは感情の起伏が平坦になったり、会話のペースが不自然になる傾向が見られました。

また、複雑なラップ歌詞などのテストでも、Diaはテンポを維持した流暢な表現を実現し、音楽的な要素も含めた高度な音声生成が可能なことを示しています。

実際にDiaを使ってみよう

ハードウェア要件

Diaを動かすには以下の環境が必要です：

• PyTorch 2.0以上とCUDA 12.6で動作
• 約10GBのVRAM（GPUのビデオメモリ）
• NVIDIA A4000などのGPUでの処理速度は1秒あたり約40トークン

未来的には、CPUサポートと量子化バージョンの提供も計画されており、より幅広い環境での利用が可能になる予定です。

Hugging Faceでの簡単な試し方

ハードウェアの準備がなくても、Hugging Faceのデモページからすぐに試すことができます。テキストを入力し、「生成」ボタンを押すだけで魔法のような音声が生成されます。

ローカル環境での実行方法

より本格的に使いたい場合は、GitHubからリポジトリをクローンして、ローカル環境で実行できます：

git clone https://github.com/nari-labs/dia.git
cd dia
python -m venv .venv
source .venv/bin/activate
pip install uv
uv run app.py

Google Colabでも無料で試せるのが嬉しいですね：

!git clone https://github.com/nari-labs/dia.git
%cd dia
!python -m venv .venv
!source .venv/bin/activate
!pip install uv
!uv run app.py --share

ビジネス活用と今後の可能性

Diaは様々な分野での活用が期待されています：

コンテンツ制作

• ポッドキャストやドラマの自動音声化
• 動画ナレーションの多声化
• オーディオブックの作成

ゲーム開発

• NPCの動的会話生成
• シナリオ量産と没入感の両立

支援技術

• 失語症患者向け会話補助
• 多言語カスタマーサポートの「声のローカライズ」

商用利用もApache 2.0ライセンスで自由に行えます。ただし、個人になりすましや誤情報拡散などの悪用は明確に禁止されていることに注意が必要です。

現在の制約と今後の展望

現時点でのDiaには、いくつかの制約があります：

1. 英語のみの対応：現在は英語のみをサポートしていますが、将来的には日本語を含む多言語対応が予定されています。

2. ハードウェア要件の高さ：約10GBのVRAMが必要なため、一般的なPCでは動かせないケースがあります。量子化モデルやCPU対応の開発により、この制約は緩和される見込みです。

3. GPU依存：現在はNVIDIA GPUに依存しており、CPUでの実行はまだ対応していません。

Nari Labsはこれらの制約を認識し、量子化バージョンの提供やCPU対応の追加によりハードウェア要件の緩和を目指しています。また、一般ユーザー向けの「Dia Consumer」のβ版も夏までに公開予定とのことです。

まとめ

Nari Labsの「Dia」は、音声合成技術の分野に新たな可能性をもたらしています。わずか2人の開発者が資金ゼロから生み出したこのオープンソースモデルは、大手企業の製品と比較しても遜色ない、むしろ一部の面では優れた性能を発揮しています。

音声合成の競争軸は、「文字→音声」でもオープン化が急速に進んでいます。Nari Labs Diaは、小規模チームでもトップクラスの音声体験を実装できることを証明しました。

あなたのサービスやプロジェクトに「声」が必要であれば、まずローカルでDiaを動かし、その可能性を体感してみてはいかがでしょうか？

オープンウェイトの高表現TTSが普及すれば、「音声はクラウドAPIに外注」が常識だった開発フローが、自前推論／オンデバイス処理へ一気にシフトする可能性もあります。今後のDiaの発展に目が離せませんね！

参考リンク：

• Nari Labs公式サイト
• Dia GitHub
• Dia Hugging Face