🤖

東京リージョンでClaude 2.1が使えるようになりましたので、レイテンシを確認してみました。

2023/12/23に公開

12/23 ? Model Accessを確認したところ、claude v2.1が使えるようになっていることを確認

aws bedrock list-foundation-models --region ap-northeast-1 | jq -r '.modelSummaries[].modelId'
amazon.titan-text-express-v1:0:8k
amazon.titan-text-express-v1
amazon.titan-embed-text-v1:2:8k
amazon.titan-embed-text-v1
anthropic.claude-instant-v1:2:18k
anthropic.claude-instant-v1
anthropic.claude-v2:1:18k
anthropic.claude-v2:1:200k
anthropic.claude-v2:1

anthropic.claude-v2:1を利用しています。

以前確認したFlaskからBedrock Modeをinvokeするアプリを、AppRunner(1vCPU, 2G Memory)
にデプロイして、ap-northeast1に変えてレイテンシーを確認しました。

InvocationLatencyでModelのレイテンシーは確認できます。

９秒から11秒の応答時間のようです。

InvocationLatency　Latency of the invocations.

Discussion