Bedrockをローカルから実行したときに起きたエラー
起きたエラー
AWS Bedrockをローカルで構築したJupyter notebook上からBoto3 APIでリクエストを投げたときに以下のエラーがでて時間を溶かしてしまったので備忘録として残しておく。
An error occurred (ValidationException) when calling the Converse operation: Invocation of model ID amazon.nova-micro-v1:0 with on-demand throughput isn’t supported. Retry your request with the ID or ARN of an inference profile that contains this model.
パット見指定したmodel Idに紐づいているモデルだとオンデマンドの呼び出しがサポートされていない感じのメッセージに見える。
原因
エラー内容からググってみたらすぐに以下のQAがヒットした。
Bedrock API invocation error - on demand throughput isn's supported
上記のQA的に、Bedrockの基盤モデルには、指定しているリージョンによってはInvokeModel APIやConverse APIに対応していないものもあるみたい。
そういう場合にはBedrockマネコン上の「Inference and Assessment > Cross-Region Inference」から目的のモデルに対応するmodel IDを確認してそれを使うことで、
APIリクエストが複数リージョンに対して行われるから、どこかしらのリージョンにある基盤モデルで処理がされるイメージ。
推論プロファイルの本来の目的(スループット向上)とは少しずれている気がしたため、
どのリージョンのモデルならリクエストに対応しているか確認 したうえで使うことが根本的な解決策ということととらえておく。
Discussion