Open5

LLMの理解

gizumongizumon

Azure AIのクオータを理解する

https://zenn.dev/microsoft/articles/be24a299f46a4d

動的クォータとは?

https://learn.microsoft.com/ja-jp/azure/ai-services/openai/how-to/dynamic-quota

  • 動的に制限を超えたクォータを割り当てられる
    • メリット: クォータの限界を超えたリクエストが来た際に利用可能なクォータがあれば割り当てられる
    • デメリット: 他のデプロイメントのクォータ上限に影響が出る?異常なリクエストの場合にクォータの上限が自動で引き上げられてしまう?

トークン制限(TPM)とリクエストリミット(RPM)

https://studist.tech/azure-openai-service-per-minute-limit-223fb3106107