😺
データ分析基盤（概念モデル）におけるデータ利活用レイヤー
概要
データ分析基盤（概念モデル）におけるデータ活用レイヤーに関する整理を実施します。
本記事にて、下記の記事におけるデータ活用レイヤーの詳細を記載します。
定義
データ利活用レイヤーの定義
データ基盤にて管理したデータに対して、データ分析やデータ提供を行う層。
データ分析レイヤー（データ利活用レイヤー）の定義
ある目的に従い、可視化・統計解析・シミュレーションにより、価値を創造する活動を行うためのシステムを保持した層。
データ利用レイヤー（データ利活用レイヤー）の定義
データ分析基盤におけるデータを提供する層。
コンポーネント詳細
| 番号 | データ基盤におけるレイヤー | コンポーネント名 | 説明 | サービス例 |
|---|---|---|---|---|
| 18 | データ利活用レイヤー （データ分析レイヤー） | 可視化システム（Business Interigence（BI）ツール） | データに基づき、集計や可視化によるデータの比較により洞察を主たる目的としたシステム。 | Tableau、Power BI、 |
| 19 | データ利活用レイヤー （データ分析レイヤー） | 解析システム | データに基づき、事象を数学的に定式化（モデル化）することを主たる目的としたシステム。 | SAS、Datarobot、Amazon SageMake、Azure Machine Learning |
| 22 | データ活用レイヤー （データ分析レイヤー） | シミュレーションシステム | データに基づき、作成済みのモデルに制約条件を設定したうえで、期待値の算出、組み合わせの最適化、または、想定事象の現出の実施を主たる目的としたシステム。 | Anaplan、Python |
| 20 | データ利活用レイヤー （データ利用レイヤー） | データ連携サービス | バッチレイヤー、スピードレイヤー、サービスレイヤーにて保持しているデータに対して、データの抽出・変換・出力や多様な接続方法（REST API、MQTT等）によりデータを提供するサービスがある。 | Amazon Athena、Azure Synapse Analytics SQLオンデマンド 、Apache Presto |
| 21 | データ利活用レイヤー （データ利用レイヤー） | クエリエンジン | バッチレイヤー、スピードレイヤー、サービスレイヤーにて保持しているデータに対して、データへの接続環境を提供するサービス。 |
要求要件
前提
データ分析とは、ある目的に従い、可視化・統計解析・シミュレーションにより、価値を創造する活動と定義する。データ分析を、下記の3つに分けシステムを選定することをおすすめします。BIシステムにおいても、統計解析やシミュレーションを実施できますが、要求を満たさない場合があいます。
可視化システム（Business Interigence（BI）ツール）
下記の機能を保持する必要があります。
| 番号 | 要否 | 主要要件 | 説明 |
|---|---|---|---|
| 1 | 必須 | データストアへの接続 | 外部データストアサービスへ接続し、データの入出力を行う機能 |
| 2 | 必須 | データプリパレーション | データを抽出・変換・書き込み等を行い、データモデリングの事前準備、あるいは、対データストアへのデータ連携の処理を行う機能 |
| 3 | 必須 | データモデリング | データ可視化、AI統合による拡張アナリティクス 、シミュレーションを行うために、データを構造化する機能 |
| 4 | 必須 | データ可視化 | データをビジュアルとして表現する機能 |
| 5 | 任意 | 共有とコラボレーション | データ可視化、AI統合による拡張アナリティクス 、シミュレーションを共有し、コミュニケーションを図る機能 |
| 6 | 任意 | AI統合による拡張アナリティクス | AIによる自動的なインサイト、機械学習との統合に関する機能 |
| 7 | 任意 | シミュレーション | 仮想的な手法により様様なシチュエーションを想定し、想定結果・リスク・最適解等を算出する機能 |
| 8 | 任意 | ガバナンス | BI機能要件の機能を統合管理する機能 |
| 9 | 必須 | セキュリティ | 脅威からアプリケーションとデータを保護する能力。特に |
詳細については、下記の記事をご確認ください。
統計解析システム
下記の機能を保持する必要があります。
| 番号 | 要否 | 主要要件 | 説明 |
|---|---|---|---|
| 1 | 必須 | データストアへの接続 | 外部データストアサービスへ接続し、データの入出力を行う機能 |
| 2 | 必須 | データ前処理 | データを抽出・変換・書き込み等を行い、統計解析の事前準備を行う機能 |
| 3 | 必須 | 可視化 | データをビジュアルとして表現する機能 |
| 4 | 必須 | 統計解析の実施 | 数学的な定式化を実施する機能 |
| 5 | 必須 | 統計解析の利用 | 数学的な定式化を利用する機能 |
| 6 | 任意 | 共有とコラボレーション | ライフサイクルを支援する機能。 |
| 7 | 任意 | ガバナンス | 機能を統合管理する機能 |
シミュレーションシステム
下記の機能を保持する必要があります。
| 番号 | 要否 | 主要要件 | 説明 |
|---|---|---|---|
| 1 | 必須 | データストアへの接続 | 外部データストアサービスへ接続し、データの入出力を行う機能 |
| 2 | 必須 | データ前処理 | データを抽出・変換・書き込み等を行い、シミュレーションの事前準備の処理を行う機能 |
| 3 | 必須 | シミュレーションの可視化 | シミュレーションを実施する過程において可視化する機能。 |
| 4 | 任意 | シミュレーションのモデル作成 | シミュレーションに利用するモデルを作成する機能。 |
| 5 | 任意 | シミュレーションの利用 | 作成済みのモデルにて、具体的な制約条件を付与して、期待値の算出、組み合わせの最適化、または、想定事象の現出の実施する機能。 |
| 6 | 任意 | 共有とコラボレーション | ライフサイクルを支援する機能。 |
| 7 | 任意 | ガバナンス | 機能を統合管理する機能 |
データ連携サービス
下記の機能を保持する必要があります。
| 番号 | 要否 | 分類 | 主要要件 | 説明 |
|---|---|---|---|---|
| 1 | 必須 | データ変換エンジン/ETLツール | データ抽出 | データ分析基盤のデータストアからデータを抽出する機能。 |
| 2 | 必須 | データ変換エンジン/ETLツール | データ変換 | 抽出したデータを変換する機能。 |
| 3 | 必須 | データ変換エンジン/ETLツール | データ取込 | ターゲットにデータを取り込む機能。 |
| 4 | 任意 | データ変換エンジン/ETLツール | データ蓄積 | 抽出したデータや変換したデータを蓄積する機能。 |
| 5 | 任意 | データ書き込み | メッセジングキュー | ターゲットにメッセジングを配信する機能。 |
| 6 | 任意 | パイプライン定義 | パイプライン定義 | 定義済みのプロセスを組み合わせたパイプラインを定義する機能。 |
| 7 | 任意 | プロセスコントロール | パイプライントリガー登録 | 情報共有を行うためのWikiの作成・管理・共有ができる機能 |
| 8 | 任意 | プロセスコントロール | パイプライン実行ログ保持 | パイプライン実行時に生成されるログを保持する機能 |
| 9 | 任意 | プロセスコントロール | パイプラインアラート | パイプライン実行に関するアラートを行う機能 |
クエリエンジン
下記の機能を保持する必要があります。
| 番号 | 要否 | 分類 | 主要要件 | 説明 |
|---|---|---|---|---|
| 1 | 必須 | データストアへの接続 | 他データストア接続 | 他データストアに対して接続できる機能 |
| 2 | 必須 | データの問い合わせ | クエリ発行 | 接続したデータストアに対してクエリを発行する機能 |
| 3 | 任意 | 拡張性 | クラスターのスケールアウト | 同一のエンドポイントを利用可能な状態で、クラスターの数を増減する機能。 |
参考情報
可視化システム（Business Interigence（BI）ツール）
特になし。
統計解析システム
特になし。
シミュレーションシステム
特になし。
データ連携サービス
特になし。
クエリエンジン
特になし。
Discussion