📘
データ分析基盤（概念モデル）におけるスピードレイヤー（ホットパス）
概要
データ分析基盤（概念モデル）におけるスピードレイヤー（ホットパス）に関する整理を実施します。
本記事にて、下記の記事におけるスピードレイヤー（ホットパス）の詳細を記載します。
定義
スピードレイヤー（ホットパス）の定義
バッチ処理にてデータ処理を行い、永続的に大量のデータを保持する層。
コンポーネント詳細
| 番号 | データ基盤におけるレイヤー | コンポーネント名 | 説明 | サービス例 |
|---|---|---|---|---|
| 13 | スピードレイヤー | ストリーム処理サービス | リアルタイムインジェストから連続したデータを取得し、処理を行ったうえでデータの提供を低遅延で行うサービス。 | Amazon Kinesis、Azure Stream Analytics |
要求要件
ストリーム処理サービス
| 番号 | 要否 | 分類 | 主要要件 | 説明 |
|---|---|---|---|---|
| 1 | 必須 | データ抽出 | リアルタイムデータ抽出 | リアルタイムインジェストサービスからデータを抽出する機能。 |
| 2 | 任意 | データ変換 | データ変換 | 抽出したデータを変換する機能。 |
| 3 | 必須 | プログラミング | 外部REST APIの利用 | 抽出したデータに基づき外部APIを実行する機能。 |
| 4 | 必須 | データ取込 | リアルタイムデータ取込 | ターゲットにデータを取り込む機能。 |
| 5 | 任意 | 拡張性 | クラスターのスケールアウト | 同一のエンドポイントを利用可能な状態で、クラスターの数を増減する機能。 |
| 6 | 必須 | 可用性 | フォールトトレランス | システムの一部に障害が発生しても正常に動作する機能。 |
参考情報
ストリーム処理サービス
特になし
Discussion