Amazon Kinesis Data Streams

ストリームデータの暗号化

・Amazon Kinesis Data StreamsはHTTPSエンドポイントを使用することで、HTTPSによるデータ通信によってクライアント間でデータを暗号化することができる
・Kinesis Data Streams は保存中のデータに対してサーバーサイド暗号化を実施して、一時保存されたストリームデータを保護することができる。その際はPutRecord または PutRecords API を使用して Kinesis Stream に含んだデータレコードやパーティションキーをAWS KMSのマスターキーを使用して暗号化することができる。

Lambda オーソライザー

■トークンベースのLambdaオーソライザー
JSON ウェブトークン (JWT) や OAuth トークンなどのベアラートークンで発信者 ID を受け取ります。

■リクエストパラメータベースの Lambda オーソライザー
ヘッダー、クエリ文字列パラメータ、stageVariables、および $context 変数の組み合わせで、発信者 ID を受け取ります。WebSocket API では、リクエストパラメータベースのオーソライザーのみがサポートされています。

データエントリの重複排除方法

、Amazon Kinesis Data Streamsのデータ処理によってデータレコードが複数回 アプリケーションに配信される理由は、主に「プロデューサーの再試行」と「コンシューマーの再試行」の 2 つが考えられます。アプリケーションは、各レコードが複数回処理されることを予測して適切に設定することが必要です。Amazon Kinesis Data Streamsではストリーミング処理に失敗した場合に、プロデューサーが断続的に再起動されて再実行されるため、同じデータがストリームに2回送信される可能性があります。これにより、データストリーム内のエントリが誤って重複しないようにするためには、レコード内に主キーを埋め込み、後で処理する際に重複削除が必要となります。