Zenn
Open24

Azure OpenAI Service（AOAI）のAssistantsをキャッチアップ

Azure
OpenAI
Takaaki KakeiTakaaki Kakei

コンソールで使ってみる

調査時点では、米国東部 2、オーストラリア東部、スウェーデン中部でのみ利用可能だった

Takaaki KakeiTakaaki Kakei

新しくリソースを作成したから、モデルを何もデプロイしていない状況。
この状態で、アシスタント プレイグラウンド (プレビュー)を開くと以下の通りデプロイが見当たらないという画面が出た。

Takaaki KakeiTakaaki Kakei
  • アシスタント名
  • 手順
  • デプロイ

を選択してSaveをクリック。

専用のアシスタントIDが払い出される。

Takaaki KakeiTakaaki Kakei

Hello Assistants!!

  • アシスタントごとにアシスタント IDが払い出される
  • チャットごとにスレッドIDが払い出される

右側に実行ログがでるのが面白い
開発者的にはどのエンドポイントを叩いているかわかるのでうれしい

Takaaki KakeiTakaaki Kakei

アシスタント ツールの顔ぶれは以下。OpenAIと変わりなくて最高！

  • Function calling（関数）
  • Code Interpreter
  • File
Takaaki KakeiTakaaki Kakei

エラー系

※プレビュー版だし、改修いただくのを気軽に待つ

  • gpt-4を指定するときは、0613バージョンを一旦使った方がよさそう。1106-Previewだとエラーが出る。
  • チャット欄の+ボタンは添付ファイル用に見受けられるけど、メッセージ入力後に押下すると、メッセージ送信になる。Code Interpreter向け添付ファイルは今後の対応なのかも。
  • ファイルツールを利用したチャットも期待した動作にはならなかった（後述）

推測

ドキュメントみると、2024-02-15-previewなるAPI Versionの記載があるので、こちらの段階で色々なおるかもね
https://learn.microsoft.com/ja-jp/azure/ai-services/openai/how-to/assistant

Takaaki KakeiTakaaki Kakei

Function calling（関数）

関数自体の実行はプログラム側でやる想定だよね

Takaaki KakeiTakaaki Kakei

ファイル

私のブログのPDFを与えてみる

https://dev.classmethod.jp/articles/try_amazon_qbusiness_api/

Takaaki KakeiTakaaki Kakei

保存場所は特に指定していないので、Azure側でよしなに保存してくれる感じかな
ここもOpenAIみたいでよき

Takaaki KakeiTakaaki Kakei

保存時にエラーがでた
ファイル機能を利用するには、Code Interpreterの機能の有効化が必要とのこと

Takaaki KakeiTakaaki Kakei

OpnenAIのAssitantの方では同じファイルでも動いたので、将来的にうまく処理していくれることを期待

Takaaki KakeiTakaaki Kakei

Azureの状況は未調査ですが、OpenAIでは料金面でいろいろ注意点があったのでメモ

OpenAI

不要なアシスタントは適宜削除しよう

一つのthread_idをずっと使い回さない方がよさそう

  • Assistant APIはアシスタントの中に、スレッド単位で会話履歴を保持して、無限に会話することができる
  • ただしコンテキスト長のMAXまでトークンはたまり続ける
  • そのため、一つのthread_idを使い続けると、トークン消費長がやばくなる
  • https://note.com/nike_cha_n/n/n65a6101d59d7

Retrievalにアップロードしたファイルは適宜削除する

  • 削除しないとずっと課金されます

  • you will be charged the $0.20/GB per assistant per day

  • https://platform.openai.com/docs/assistants/tools/knowledge-retrieval

  • 永続的な目的がなければ、Code Interpreter経由が無難？

  • Code Interpreter経由でアップロードしたファイルは数時間で自動で消える？し、ファイル単位の課金はされない模様

  • You do not pay for files attached to an Assistant or Message when used with Code Interpreter. You are only charged for files that are indexed for retrieval which happens automatically if the Retrieval tool is enabled.

データの取り扱い

As with the rest of the platform, data and files passed to the OpenAI API are never used to train our models and developers can delete the data when they see fit.

https://openai.com/blog/new-models-and-developer-products-announced-at-devday

  • デフォルトの保持期間：60日
  • データ保持ゼロ申請（ELIGIBLE FOR ZERO RETENTION）：不可

https://platform.openai.com/docs/models/how-we-use-your-data