<p data-line="0" class="code-line">現在世に出回っているLLMアプリはチャットUIが主流となっています。<br>
でも、すでにあるSiriやAlexaやGoogle Homeのように、音声でのコミュニケーションの中にLLMを組み込んでいければその応用範囲はもっと広がっていくと思いませんか？</p>
<p data-line="3" class="code-line">そこで今回は、LLMとwhisper、Style-Bert-VITS2を組み合わせて、CPUで動く常駐型の音声アシスタントをPythonで作ってみました。<br>
以下のリポジトリにソースコードも公開しています！</p>
<p data-line="6" class="code-line"><span class="embed-block zenn-embedded zenn-embedded-card"><iframe id="zenn-embedded__004c50c40b46d" src="https://embed.zenn.studio/card#zenn-embedded__004c50c40b46d" data-content="https%3A%2F%2Fgithub.com%2Fryukez%2Fvoice-assistant-demo" frameborder="0" scrolling="no" loading="lazy"></iframe></span><a href="https://github.com/ryukez/voice-assistant-demo" style="display:none" target="_blank" rel="nofollow noopener noreferrer">https://github.com/ryukez/voice-assistant-demo</a></p>
<h2 id="%E3%83%87%E3%83%A2" data-line="8" class="code-line">
<a class="header-anchor-link" href="#%E3%83%87%E3%83%A2" aria-hidden="true"></a> デモ</h2>
<p data-line="10" class="code-line">こんな感じで、音声での入力に対して返答が返ってきます。返答内容はLLMによって生成されています。</p>
<p data-line="12" class="code-line"><span class="embed-block embed-youtube"><iframe src="https://www.youtube-nocookie.com/embed/93WvZc_AiYM" allow="accelerometer; clipboard-write; encrypted-media; gyroscope; picture-in-picture" allowfullscreen loading="lazy"></iframe></span><a href="https://www.youtube.com/watch?v=93WvZc_AiYM" style="display:none" target="_blank" rel="nofollow noopener noreferrer">https://www.youtube.com/watch?v=93WvZc_AiYM</a></p>
<h2 id="%E6%A4%9C%E8%A8%BC%E7%92%B0%E5%A2%83" data-line="14" class="code-line">
<a class="header-anchor-link" href="#%E6%A4%9C%E8%A8%BC%E7%92%B0%E5%A2%83" aria-hidden="true"></a> 検証環境</h2>
<p data-line="16" class="code-line">以下の環境で検証しています。</p>
<ul data-line="18" class="code-line">
<li data-line="18" class="code-line">Macbook Pro (Apple M1 Pro, メモリ32GB)</li>
<li data-line="19" class="code-line">Python 3.12</li>
</ul>
<h2 id="%E4%BD%BF%E7%94%A8%E3%81%97%E3%81%A6%E3%81%84%E3%82%8B%E6%8A%80%E8%A1%93" data-line="21" class="code-line">
<a class="header-anchor-link" href="#%E4%BD%BF%E7%94%A8%E3%81%97%E3%81%A6%E3%81%84%E3%82%8B%E6%8A%80%E8%A1%93" aria-hidden="true"></a> 使用している技術</h2>
<h3 id="%E9%9F%B3%E5%A3%B0%E8%AA%8D%E8%AD%98%3A-openai-whisper" data-line="23" class="code-line">
<a class="header-anchor-link" href="#%E9%9F%B3%E5%A3%B0%E8%AA%8D%E8%AD%98%3A-openai-whisper" aria-hidden="true"></a> 音声認識: openai-whisper</h3>
<p data-line="25" class="code-line">音声認識はOpenAIが公開しているwhisperをローカルで動作させて実現しています。<br>
動作の高速化のため、<a href="https://github.com/SYSTRAN/faster-whisper" target="_blank" rel="nofollow noopener noreferrer">faster-whisper</a>および先月公開された<a href="https://huggingface.co/openai/whisper-large-v3-turbo" target="_blank" rel="nofollow noopener noreferrer">turboモデル</a>を利用しています。<br>
またマイクに接続してリアルタイムな音声認識を動作させるために<a href="https://github.com/mallorbc/whisper_mic" target="_blank" rel="nofollow noopener noreferrer">whisper_mic</a>というライブラリを利用しています。</p>
<p data-line="29" class="code-line">詳細はこちらの記事にもまとめています。</p>
<p data-line="31" class="code-line"><span class="embed-block zenn-embedded zenn-embedded-card"><iframe id="zenn-embedded__86116200fcbfc" src="https://embed.zenn.studio/card#zenn-embedded__86116200fcbfc" data-content="https%3A%2F%2Fzenn.dev%2Fryuke%2Farticles%2F5a5ead7f555dcc" frameborder="0" scrolling="no" loading="lazy"></iframe></span><a href="https://zenn.dev/ryuke/articles/5a5ead7f555dcc" style="display:none" target="_blank">https://zenn.dev/ryuke/articles/5a5ead7f555dcc</a></p>
<h3 id="%E9%9F%B3%E5%A3%B0%E5%90%88%E6%88%90%3A-style-bert-vits2" data-line="33" class="code-line">
<a class="header-anchor-link" href="#%E9%9F%B3%E5%A3%B0%E5%90%88%E6%88%90%3A-style-bert-vits2" aria-hidden="true"></a> 音声合成: Style-Bert-VITS2</h3>
<p data-line="35" class="code-line">Style-Bert-VITS2（SBV2）は、感情豊かな音声を生成できる高性能な音声合成モデルであるBert-VITS2をベースに、日本語音声に特化した改良を加えたモデルです。Bertを活用して感情や発話スタイルを制御でき、少数の音声データセットから学習した独自のモデルを簡単に作成することができます。<br>
制作者の方が記事を公開されているので詳細はこちらをご参照ください。</p>
<p data-line="38" class="code-line"><span class="embed-block zenn-embedded zenn-embedded-card"><iframe id="zenn-embedded__7e8213f1bec47" src="https://embed.zenn.studio/card#zenn-embedded__7e8213f1bec47" data-content="https%3A%2F%2Fzenn.dev%2Flitagin%2Farticles%2F034819a5256ff4" frameborder="0" scrolling="no" loading="lazy"></iframe></span><a href="https://zenn.dev/litagin/articles/034819a5256ff4" style="display:none" target="_blank">https://zenn.dev/litagin/articles/034819a5256ff4</a></p>
<h2 id="%E6%A7%8B%E6%88%90" data-line="40" class="code-line">
<a class="header-anchor-link" href="#%E6%A7%8B%E6%88%90" aria-hidden="true"></a> 構成</h2>
<p data-line="42" class="code-line">プログラムは以下のコンポーネントで構成されています。</p>
<ul data-line="44" class="code-line">
<li data-line="44" class="code-line">
<strong>Style-Bert-VITS2 + FastAPI サーバー</strong>: ローカルのWebサーバーでエンドポイント <code>/speak</code> を提供し、Style-Bert-VITS2による音声合成処理を実行する</li>
<li data-line="45" class="code-line">
<strong>whisper_mic</strong>: 音声入力を待ち受けるバックグラウンドプロセス</li>
<li data-line="46" class="code-line">
<strong>Assistant</strong>: 音声認識結果を受け取り、LLM による応答を生成して音声合成サーバーへのリクエストを送信</li>
</ul>
<p data-line="48" class="code-line">動作フローは以下のようになります。</p>
<ol data-line="50" class="code-line">
<li data-line="50" class="code-line">whisper_mic が音声入力を検知</li>
<li data-line="51" class="code-line">音声認識を実行し、結果を Assistant に渡す</li>
<li data-line="52" class="code-line">Assistant が LLM で応答を生成</li>
<li data-line="53" class="code-line">FastAPI サーバーに音声合成リクエストを送信</li>
<li data-line="54" class="code-line">合成された音声を再生</li>
</ol>
<p data-line="56" class="code-line">音声合成過程では、文章を句点ごとに分割し、並列で音声合成を実行して準備ができたところまでを段階的に再生することで、遅延の削減を行なっています。<br>
また、音声合成はあえてWebサーバーにせずにAssistantから直接実行することもできますが、拡張性を考えてAssistant本体からは切り分ける構成としています。</p>
<h2 id="%E3%82%AB%E3%82%B9%E3%82%BF%E3%83%9E%E3%82%A4%E3%82%BA" data-line="59" class="code-line">
<a class="header-anchor-link" href="#%E3%82%AB%E3%82%B9%E3%82%BF%E3%83%9E%E3%82%A4%E3%82%BA" aria-hidden="true"></a> カスタマイズ</h2>
<p data-line="61" class="code-line">必要に応じて以下の設定項目をカスタマイズすることができます。</p>
<ul data-line="63" class="code-line">
<li data-line="63" class="code-line">音声認識のwhisperではturbo+faster-whisperをCPUで動かしていますが、環境によってより軽量なモデルやGPUを使って高速化できます。</li>
<li data-line="64" class="code-line">LLMには任意のモデルが使えます。またLangGraph等を組み合わせてよりエージェント的な振る舞いを実装することもできます。</li>
<li data-line="65" class="code-line">
<strong>合成音声にはStyle-Bert-VITS2で学習した好きなモデルが使えます！</strong> 学習方法の詳細は<a href="https://github.com/litagin02/Style-Bert-VITS2?tab=readme-ov-file#%E5%AD%A6%E7%BF%92" target="_blank" rel="nofollow noopener noreferrer">本家のREADME</a>を参照してください。</li>
</ul>
<h2 id="%5Bmac%5D-dock%E3%81%B8%E3%81%AE%E8%BF%BD%E5%8A%A0%E3%81%A8%E8%87%AA%E5%8B%95%E8%B5%B7%E5%8B%95" data-line="67" class="code-line">
<a class="header-anchor-link" href="#%5Bmac%5D-dock%E3%81%B8%E3%81%AE%E8%BF%BD%E5%8A%A0%E3%81%A8%E8%87%AA%E5%8B%95%E8%B5%B7%E5%8B%95" aria-hidden="true"></a> [Mac] Dockへの追加と自動起動</h2>
<p data-line="69" class="code-line">PCの起動のたびに毎回自分で立ち上げるのはめんどくさいので、ワンクリックでポチッと立ち上げたい &amp; できるなら勝手に起動するようにしたいです。<br>
pyinstallerを使ってアプリ化する方法なども検討したのですが、シェルスクリプトをcommand化してDockに登録するのが一番簡単だと思います。<br>
こちらの記事を参考にさせて頂きました。アイコンも設定できますし、「オプション &gt; ログイン時に開く」で自動起動も設定できます。</p>
<p data-line="73" class="code-line"><span class="embed-block zenn-embedded zenn-embedded-card"><iframe id="zenn-embedded__16091bdd342cf" src="https://embed.zenn.studio/card#zenn-embedded__16091bdd342cf" data-content="https%3A%2F%2Fsy-base.com%2Fmyrobotics%2Fmac%2Fshell-dock%2F" frameborder="0" scrolling="no" loading="lazy"></iframe></span><a href="https://sy-base.com/myrobotics/mac/shell-dock/" style="display:none" target="_blank" rel="nofollow noopener noreferrer">https://sy-base.com/myrobotics/mac/shell-dock/</a></p>
<p data-line="75" class="code-line"><img src="https://storage.googleapis.com/zenn-user-upload/a12b45b07755-20250126.png" loading="lazy" class="md-img"><br>
<em><a href="https://www.sanrio.co.jp/characters/gaopowerroo/" target="_blank" rel="nofollow noopener noreferrer">がおぱわるぅ</a>アイコンにしてみました</em></p>
<h2 id="%E6%94%B9%E5%96%84%E3%83%9D%E3%82%A4%E3%83%B3%E3%83%88" data-line="78" class="code-line">
<a class="header-anchor-link" href="#%E6%94%B9%E5%96%84%E3%83%9D%E3%82%A4%E3%83%B3%E3%83%88" aria-hidden="true"></a> 改善ポイント</h2>
<h3 id="%E8%BF%94%E7%AD%94%E3%81%BE%E3%81%A7%E3%81%AE%E9%81%85%E5%BB%B6" data-line="79" class="code-line">
<a class="header-anchor-link" href="#%E8%BF%94%E7%AD%94%E3%81%BE%E3%81%A7%E3%81%AE%E9%81%85%E5%BB%B6" aria-hidden="true"></a> 返答までの遅延</h3>
<p data-line="81" class="code-line">音声認識+LLM返答生成+音声合成までで合わせて10-15秒程度、長い文章の場合はさらに時間がかかります。ストレスなく使うにはこのラグをいかに削減できるかが課題になりそうです。音声合成についてはすでにセンテンス分割によるパフォーマンス改善を行なっていますが、音声認識・LLM返答生成においてもストリーミング的に処理することで改善できる余地はありそうです。</p>
<h3 id="%E9%9F%B3%E5%A3%B0%E8%AA%8D%E8%AD%98%E7%B2%BE%E5%BA%A6%EF%BC%88%E6%97%A5%E6%9C%AC%E8%AA%9E%E4%BB%A5%E5%A4%96%E3%81%A7%E8%A7%A3%E9%87%88%E3%81%95%E3%82%8C%E3%81%A6%E3%81%97%E3%81%BE%E3%81%86%EF%BC%89" data-line="83" class="code-line">
<a class="header-anchor-link" href="#%E9%9F%B3%E5%A3%B0%E8%AA%8D%E8%AD%98%E7%B2%BE%E5%BA%A6%EF%BC%88%E6%97%A5%E6%9C%AC%E8%AA%9E%E4%BB%A5%E5%A4%96%E3%81%A7%E8%A7%A3%E9%87%88%E3%81%95%E3%82%8C%E3%81%A6%E3%81%97%E3%81%BE%E3%81%86%EF%BC%89" aria-hidden="true"></a> 音声認識精度（日本語以外で解釈されてしまう）</h3>
<p data-line="85" class="code-line">音声認識がうまくいかず英語で解釈されてしまうことがあります。この場合にはLLMの返答も英語で返ってくるのですが、読み上げがアルファベットでの発話（askをエーエスケーのように読んでしまう）になってしまいます。この辺りはStyle-Berts-VITS2の設定で何とかできそうでもありますが、日本語以外のメッセージが来たら無視するとかでも良いかもしれません。</p>
<h3 id="llm%E9%83%A8%E5%88%86%E3%81%AE%E4%BD%9C%E3%82%8A%E8%BE%BC%E3%81%BF" data-line="87" class="code-line">
<a class="header-anchor-link" href="#llm%E9%83%A8%E5%88%86%E3%81%AE%E4%BD%9C%E3%82%8A%E8%BE%BC%E3%81%BF" aria-hidden="true"></a> LLM部分の作り込み</h3>
<p data-line="89" class="code-line">LLM部分は現在素のchat completionを繋いでいるだけなので、天気を調べることもできません。ここはRAGやfunction call・エージェント動作などを実装することで複雑なタスクをお願いすることができるようになるはずなので、今後試していきたいと思っています。</p>
<h2 id="%E3%82%AF%E3%83%AC%E3%82%B8%E3%83%83%E3%83%88" data-line="91" class="code-line">
<a class="header-anchor-link" href="#%E3%82%AF%E3%83%AC%E3%82%B8%E3%83%83%E3%83%88" aria-hidden="true"></a> クレジット</h2>
<p data-line="93" class="code-line">サンプルとして以下の音声モデルをお借りしています。モデルの利用の際は、ライセンスや利用規約を十分に確認してください。<br>
特にStyle-Bert-VITS2の利用にあたっては<a href="https://github.com/litagin02/Style-Bert-VITS2/blob/master/docs/TERMS_OF_USE.md" target="_blank" rel="nofollow noopener noreferrer">利用規約</a>をよく確認してください。デフォルトの事前学習モデルはデータの出所が不明な部分があるため、<a href="https://tyc.rei-yumesaki.net/work/software/style-bert-vits2/" target="_blank" rel="nofollow noopener noreferrer">つくよみちゃんコーパスを使った事前学習モデル</a>等の利用も検討してもらえると良いかと思います。</p>
<p data-line="96" class="code-line">サンプルモデルとして以下のモデルをお借りしています。</p>
<ul data-line="98" class="code-line">
<li data-line="98" class="code-line">Style-BertVITS2 モデル:
<ul data-line="99" class="code-line">
<li data-line="99" class="code-line"><a href="https://huggingface.co/litagin/sbv2_koharune_ami" target="_blank" rel="nofollow noopener noreferrer">https://huggingface.co/litagin/sbv2_koharune_ami</a></li>
<li data-line="100" class="code-line">小春音アミ、あみたろの声素材工房 (<a href="https://amitaro.net/" target="_blank" rel="nofollow noopener noreferrer">https://amitaro.net/</a>)</li>
</ul>
</li>
</ul>
<p data-line="102" class="code-line">その他、以下のパッケージを利用しています。</p>
<ul data-line="104" class="code-line">
<li data-line="104" class="code-line"><a href="https://github.com/openai/whisper" target="_blank" rel="nofollow noopener noreferrer">whisper</a></li>
<li data-line="105" class="code-line"><a href="https://github.com/mallorbc/whisper_mic" target="_blank" rel="nofollow noopener noreferrer">whisper_mic</a></li>
<li data-line="106" class="code-line"><a href="https://github.com/SYSTRAN/faster-whisper" target="_blank" rel="nofollow noopener noreferrer">faster-whisper</a></li>
<li data-line="107" class="code-line"><a href="https://github.com/litagin02/Style-Bert-VITS2" target="_blank" rel="nofollow noopener noreferrer">Style-Bert-VITS2</a></li>
</ul>


Macbookで動く、ボイス設定可能な音声アシスタントを作る

音声認識精度（日本語以外で解釈されてしまう）

Discussion