💬
Azure OpenAI Service Add your dataの設定時に詰まった箇所のTips
はじめに
設定した際に詰まった箇所をまとめました（9月11日時点）
1. add your dataを試すとchat sessionの回答がエラーとなる
-
解決方法
- Cognitive Searchにて、blobと接続し、blobのindexを直接作成する
- もしくはadd your dataからindex作成後に一度設定削除してから下記を行う
- add your dataでCognitive Searchを選択し、上記で作成したindexを読み込む
- Cognitive Searchにて、blobと接続し、blobのindexを直接作成する
2. 入力したファイルデータがindexに入っていない
-
背景
- add your data経由でindexを生成時すると、Cognitive Searchのcontentの言語アナライザーのデフォルトが英語となっており日本語の精度が下がる。その解法として「@学習ツール」を使い日本語アナライザーを使用するという方法がある。
- 上記ツールを使うと、pdfとtxt以外の拡張子のindexに入っていなかった
-
解決方法
- Cognitive Serarchから直接indexを作成し、その際に言語アナライザーを指定する
3. ベクトル検索のindexが設定できない
-
背景
- 「@学習ツール」を使う方法で、indexへのベクトルの埋め込みを試したが、indexを見るとベクトルカラムが存在しない
-
解決方法
- add your dataからindexを作成し、その後indexを読み込み直す
- ただしこの方法だと言語アナライザーが日本語に指定できない
- add your dataからindexを作成し、その後indexを読み込み直す
4. 未解決事項
- デプロイしたものの挙動が異なる
- 機密事項にあたるため回答できませんという回答が出てきてしまう
Discussion
初めまして、参考になる記事をありがとうございます。
「1. add your dataを試すとchat sessionの回答がエラーとなる」
のエラーにまさに直面しています。（探してもネットには他になさそう・・？）
Errorと表示されるだけで、何のエラーか全くわからず困っていました。
cognitive searchから接続しても、blob storageから接続しても、直接ファイルをアップロードしても、全ての場合で同じエラーになります。
記事に書かれていることを試してみてもエラーとなるようです。
記載されていることが以外に、当エラーでヒントになりそうなことはございますでしょうか？
Cognitive Searchのindexで検索の動作には問題ないでしょうか？
問題ない場合は、下記のロールの割当の部分かもしれません。
問題ある場合は、Cognitive Searchからindex作成するのが有効かと思います
の「Azure ロールベースのアクセス制御」
迅速なご返信ありがとうございます。
日中から見させていただいていたのですが、業務で別アカウントでログインしていたため、返信が遅くなってしまいました。
いろいろと試行錯誤してみた結果、gpt-35-turboのver0613を使用していたことが問題でした。
on your dataには対応していないモデルのようで、 下記のような対応で実施可能になりました。
・gpt4を使う
・gpt-35-turbo-16kを使う
・リージョンをUS Eastなどを使い、gpt-35-turbo 0301を使用する（今後削除予定のようですが）
私自身が東日本リージョンで作成していたため、gpt-35-turboに0613しか存在せず、解決に時間がかかってしまいました。
あまり同じようなことが原因でエラーになることもなさそうですが、どなたかがこのコメント欄を読んで解決できる可能性もあると思い共有させて頂きます。
ロールの不足の可能性があることも失念しておりました。
結果的に今回は足りていたみたいですが、次回同じようなことがあった際に活用させて頂きます。
ご返信頂きまして、ありがとうございました。