執筆日
2024/12/16
やること
GPT-4o-Real-timeAudioを使ったVoiceRAGサンプルアプリをMicrosoftがGithubで公開をしています。そのアプリを使ってVoiceRAGを勉強しよと思ったのですが、立ち上げに苦労したので共有です。だれかの役に立てばなと。
ざっくり手順
- インフラ（Azure）の準備
- アプリを立ち上る
引っかかった点
- indexのセマンティック構成の名前をdefaultにする
- app/backend/.envを作成する
- DevContainerを立ち上げる
インフラ（Azure）の準備
- 以下のリソースが必要です
Azure Open AI Service
- East US2もしくはSweden Centralでデプロイ
- GPT-4o Realtime Audioをデプロイ
Azure AI Search
indexが作成済みであること
弊社の2023 年 12 月期通期決算説明会 質疑応答 をindexに登録する
アプリを立ち上る
- 以下のURLをクリックする
- Readmeに従って、DevContainerとVscodeを立ち上げる
- app/backend/.envを作成する
- .envに以下の接続情報を書く
AZURE_OPENAI_ENDPOINT= <AOAI エンドポイント>
AZURE_OPENAI_REALTIME_DEPLOYMENT= <GPT-4o Realtime Audio モデル名>
AZURE_OPENAI_REALTIME_VOICE_CHOICE=<choose one: echo, alloy, shimmer>
AZURE_OPENAI_API_KEY= <AOAI キー>
AZURE_SEARCH_ENDPOINT= <AI Search エンドポイント>
AZURE_SEARCH_INDEX= <index名>
AZURE_SEARCH_API_KEY=<AI Search キー>
- 以下のコマンドを実行する
./scripts/start.sh
- 立ち上がったことを確認する
- 話しかける
まとめ
VoiceRAGを触ってみました。
コードはじっくり見ていないですが、Function_callingでうまーく実装しているとのこと。
奥が深そうだな。勉強しよ。
Discussion