Open9

DAS

uuuuuuuuuuuu

apache kafka

オンプレでも使えるリアルタイムメッセージキュー

uuuuuuuuuuuu

apache msk

AWSマネージドリアルタイムメッセージキュー
apache kafka移行先サービスとして

uuuuuuuuuuuu

kinesis stream

AWSマネージドリアルタイムメッセージキュー
データをカスタムで保持可能
スケールも可能
接続先としてS3やanalyticsなど選択肢あり

uuuuuuuuuuuu

kinesis firehose

AWSマネージドログデータ配信ストリーム
データは保持しない、ストリームするだけ
スケールはAWSフルマネージドで任せることが可能です。
保存先として、S3などある。Lambdaを連携可能。
S3保存トリガーとするとベストエフォートの関係上1分以上のイベント駆動型システムとなる。
リアルタイム性で処理をするならapache kafka mskかkinesis streamとなる。

uuuuuuuuuuuu

Kinesis Client Library

Javaライブラリ
Kinesis Streamからレコード読み取り＆ワーカー間レコード処理調整、チェックポイント管理を簡素化する

uuuuuuuuuuuu

Kinesis Client Library　デフォルト設定をオーバーライドし1分の伝搬を0.5秒に軽減できる。

→ポーリング頻度高める

uuuuuuuuuuuu

AWS Data Exchange

AWS マーケットプレイスの一部、安全かつ簡単にデータを共有、売買することができます。
企業は外部データをすばやく見つけ、調達し、自社のデータと組み合わせてインサイトを得ることができます。
データプロバイダーは、AWSのグローバルなユーザーベースにリーチし、データ製品を収益化する新しい方法を見つけることができます。
金融市場データ、天気予報、位置情報、社会経済データなど、さまざまな種類のデータセットがAWS Data Exchangeで利用可能です。

  • データプロバイダー

    • 提供者、カタログを通じてデータセットを提供
    • データセットはS3バケットに配信。

  • データコンシューマー

    • データセットに対して一回or定期料金を設定可能。AWSを通じて支払う。
    • データセット更新時、通知を受け取れる。

※共有データをAWS Data Exchangeにアップロードして保存、共有ウィザードを使用してデータ共有する。のが正答らしいけど共有ウィザードという機能はないし、公式模擬がまちがっている。
とりあえず暗記もの