Zenn
👰

AWS Kinesis Data Stream On-Demandを見てみた

2021/12/19に公開
#
kinesis
tech

概要

Read this: https://aws.amazon.com/blogs/aws/amazon-kinesis-data-streams-on-demand-stream-data-at-scale-without-managing-capacity/

とにかく触ってみました。

作成

Web コンソールから作ろうとすると、オンデマンドの項目が増えていますね。

データストリーム名を決めたらほとんど設定がない模様。めっちゃ楽。

CLIでの確認

とりあえずストリームを作ってみて、 describe-stream してみた。

{
    "StreamDescription": {
        "Shards": [
            {
                "ShardId": "shardId-000000000000",
                "HashKeyRange": {
                    "StartingHashKey": "0",
                    "EndingHashKey": "85070591730234615865843651857942052863"
                },
                "SequenceNumberRange": {
                    "StartingSequenceNumber": "49624447757462989863958939264887154139997451244839895042"
                }
            },
            {
                "ShardId": "shardId-000000000001",
                "HashKeyRange": {
                    "StartingHashKey": "85070591730234615865843651857942052864",
                    "EndingHashKey": "170141183460469231731687303715884105727"
                },
                "SequenceNumberRange": {
                    "StartingSequenceNumber": "49624447757485290609157469888028689858270099606345875474"
                }
            },
            {
                "ShardId": "shardId-000000000002",
                "HashKeyRange": {
                    "StartingHashKey": "170141183460469231731687303715884105728",
                    "EndingHashKey": "255211775190703847597530955573826158591"
                },
                "SequenceNumberRange": {
                    "StartingSequenceNumber": "49624447757507591354356000511170225576542747967851855906"
                }
            },
            {
                "ShardId": "shardId-000000000003",
                "HashKeyRange": {
                    "StartingHashKey": "255211775190703847597530955573826158592",
                    "EndingHashKey": "340282366920938463463374607431768211455"
                },
                "SequenceNumberRange": {
                    "StartingSequenceNumber": "49624447757529892099554531134311761294815396329357836338"
                }
            }
        ],
        "StreamARN": "arn:aws:kinesis:ap-northeast-1:XXXXXXXXXXXXXX:stream/my-test-kinesis",
        "StreamName": "my-test-kinesis",
        "StreamStatus": "ACTIVE",
        "RetentionPeriodHours": 24,
        "EnhancedMonitoring": [
            {
                "ShardLevelMetrics": []
            }
        ],
        "EncryptionType": "NONE",
        "KeyId": null,
        "StreamCreationTimestamp": "2021-12-02T00:10:02+09:00"
    }
}

なるほど、シャードの概念がなくなるわけではなさそう。デフォルトでは4つのシャードが作成される様子。以下の表記の通り。

When a new data stream is created using Kinesis Data Streams On-demand, it gets created with the default capacity of 4 MB/s and 4,000 records per second for writes. Kinesis Data Streams On-demand can automatically scale up to 200 MB/s and 200,000 records per second for writes.

注意点

調べる限り、自動スケールダウンには対応していない？

Discussion