はじめに

こんにちは、クラウドエースデータソリューション部の松本です。
普段はデータ基盤や MLOps の構築をしたり、Google Cloud 認定トレーナーとしてトレーニングを提供しております。また、昨年は Google Cloud Partner Top Engineer 2024 に選出されました。今年も Goodle Cloud 界隈を盛り上げていけるよう頑張っていきたいと思います。

クラウドエースデータソリューション部について

クラウドエースのITエンジニアリングを担うシステム開発統括部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータソリューション部です。
弊社では、新たに仲間に加わってくださる方を募集しています。もし、ご興味があればエントリーをお待ちしております！

今回は、次世代データ基盤であるデータレイクハウスを Google Cloud で実現する方法について、ご紹介いたします。

この記事はこんな人にオススメ

最新のデータ基盤構築について知りたい人
データレイクハウスやメダリオンアーキテクチャとは何かを知りたい人
Google Cloud でデータレイクハウスを構築したい人

データレイクハウスとは

データレイクハウス（またはレイクハウス）とは、データレイクとデータウェアハウスの機能を組み合わせた新しいタイプのデータプラットフォームです。

大量の構造化、半構造化、非構造化データを一元的に管理し、必要に応じて高度な分析ができるため、企業はデータの取り扱いをより柔軟にし、より深い洞察を得ることが可能になります。

データレイクハウスが注目される理由

データ基盤アーキテクチャについて、これまでの歴史を振り返ることで、データレイクハウスが注目されている理由を紐解いていきます。
figure_lakehouse
出典：Lakehouse: A New Generation of Open Platforms that Unify
Data Warehousing and Advanced Analytics

データウェアハウス（第一世代データ基盤）

データウェアハウスは、ビジネス意思決定のためにデータを一つの場所に集約・保管し、分析に利用するためのデータ基盤であり、1980年代に考案されました。複数のデータソースからデータを取得してETL処理を行い、データウェアハウスにデータを蓄積していきます。データウェアハウスは、構造化データの処理に適していましたが、非構造化データ（文章や音声、画像など）のようにそのままでは利用できない複雑なデータの処理には適していませんでした。

データレイク（第二世代データ基盤：2層アーキテクチャ）

2000年代に入り、データウェアハウスの課題である非構造化データを分析するニーズが増えたことをきっかけに、データレイクが登場しました。データレイクは、テキストデータや画像、テキストなど構造化データ以外のデータも格納することができ、データ分析や機械学習で利用することができます。しかし、データレイクにはトランザクションのサポートやデータ品質の保証がありません。また、さまざまなデータを自由に格納できる反面、必要なデータが見つかりづらくなり、データスワンプ（活用ができないデータが大量に溜まっている）を引き起す懸念がありました。

データレイクハウス（次世代データ基盤）

データレイクハウスは、データウェアハウスとデータレイクの課題を克服しつつ、それぞれの利点を組み合わせたアーキテクチャになります。構成として、データウェアハウスと類似のデータ構造とデータ管理機能を持ちつつ、オープンフォーマットで低コストのクラウドストレージを利用しています。データレイクハウスは、安価で信頼性の高いオブジェクトストレージが利用可能であるため、最新のニーズに適したアーキテクチャと言えます。

データレイクハウスの特徴

データレイクハウスの主な特徴は以下の通りです。

トランザクションのサポート：
データレイクにおけるトランザクションサポート課題を解決するため、データレイクに対してメタデータレイヤーを重ねることで、データレイク内のデータを直接扱うのではなく、メタデータの操作によって扱い、データの一貫性を担保します。
スキーマの適用とガバナンス：
テーブル単位のみならず、列や行単位でのきめ細やかな権限管理をサポートし、データのアクセス制御が可能です。
オープン性：
Apache Parquet, Apache Icebarg などのオープンソースのデータフォーマットを利用することで、データアクセスの方法を標準化できます。
コンピューティングとストレージを分離：
コンピューティングとストレージを分離し、別々のクラスタで使用することで、同時に利用するユーザー数やデータサイズの増大にあわせた拡張が容易になります。
構造化・半構造化・非構造化データのサポート：
データレイクハウスは、構造化、非構造化、半構造化データをサポートし、画像、動画、音声、テキストなど様々なデータ形式の保存、調整、分析、アクセスを可能にします。
多様なワークロードのサポート：
BI、データ分析、機械学習などの様々なワークロードに対して、ストレージ用途を区別することなくデータを扱えます。
エンドツーエンドのストリーミング：
ストリーミングがサポートされるため、リアルタイムのレポート作成要件に対応しています。

データレイクハウスのアーキテクチャ

データレイクハウスのアーキテクチャは以下のようになります。
lakehouse-architecture
データレイクハウスアーキテクチャ

データレイクハウスでは、取得した生データを直接 Lakehouse Layer のストレージに格納し、データ分析や機械学習などで利用する際にデータ変換を行います。データ抽出・ロードした後、変換を行うことから、近年主流となっている ELT（Extract, Load, Transform）の発展形アーキテクチャとも言えます。

データレイクハウスのアーキテクチャは、以下のようなレイヤーから構成されます。

Ingestion Layer：
Lakehouse Layer に対して、バッチまたはストリーミングにて、生データを取り込む役割を担います。
Lakehouse Layer：
構造化 / 半構造化 / 非構造化データを格納します。高い耐久性とスケーラビリティを持ち、安価なコストでデータを保管します。データの加工度合いに応じて、データ格納のレイヤーを分ける、メダリオンアーキテクチャ（後述）を採用するケースが多いです。
Metadata Layer：
Lakehouse Layer に存在するデータのメタデータを扱います。データカタログを作成したり、トランザクション・権限管理を実現します。
Processing Layer：
Lakehouse Layer に存在するデータに対して、データ分析や機械学習などで利用可能な形とするためのデータ変換を行います。
Consumption Layer：
SQL、BI、機械学習などでデータを利用します。

メダリオンアーキテクチャ

メダリオンアーキテクチャは、データレイクハウスのデータを論理的に整理するために用いるデータ設計を意味します。
medals_architecture
メダリオンアーキテクチャ（Bronze、Silver、Gold）
メダリオンアーキテクチャは、ブロンズ、シルバー、ゴールドの3つのレイヤーから構成され、データ変換の過程を経ることで、ACID（原子性、一貫性、独立性、耐久性）を保証します。

ブロンズレイヤー（Bronze）：
外部ソースシステムから取得した生データを格納するレイヤーになります。変更データを迅速に取得して蓄積していき、外部ソースシステムからデータの再読み込みを不要とします。
シルバーレイヤー（Silver）：
ブロンズレイヤーのデータに対して必要に応じてデータクレンジング処理を行った上で、データを格納します。データ分析の前段階で非常に重要なプロセスであり、データから不正確なデータや重複データ等の修正や削除、不完全なデータの補完等を目的とします。
ゴールドレイヤー（Gold）：
シルバーレイヤーのデータをさらに集約、加工し、特定のビジネス改善のために用意したデータを格納します。一般的なデータマートと同様の意味合いで利用されます。

Google Cloud でのデータレイクハウス

Google Cloud でのデータレイクハウスアーキテクチャは以下のようになります。
gcp-lakehouse-architecture
Google Cloud でのデータレイクハウスアーキテクチャ

Google Cloud でのデータレイクハウスは、BigQuery を中心としたアーキテクチャとなります。
特に Lakehouse Layer においては、BigQuery に構造化データや半構造化データを格納するだけでなく、Cloud Storage や Amazon S3、Azure Blob Storage に格納されている様々なデータソースを、BigQuery の外部データソースとして定義することで、データを BigQuery へロードすることなく、データソースに対して直接クエリすることが可能になります。

Ingestion Layer

データソースに存在するデータを Lakehouse Layer に対して転送します。基本的には生データに対して変換を行わず、そのまま転送します。使用できる主なサービスは以下の通りです。

BigQuery Data Transfer Service：
Cloud Storage や Amazon S3、Azure Blob Storage など格納されているデータを BigQuery に転送するマネージドサービスです。主に構造化データや半構造化データをバッチ処理にて BigQuery へ直接転送したい場合に使用します。
Storage Transfer Service：
Cloud Storage、Amazon S3、Azure Blob Storage、オンプレミスデータなどに格納されているオブジェクトやファイルを Cloud Storage へ転送するマネージドサービスです。主にオブジェクトやファイルをバッチ処理にて Cloud Storage へ直接転送したい場合に使用します。
Datastream：
Oracle、MySQL、PostgreSQL といったデータベースから BigQuery に対してシームレスにデータを複製できるサーバーレスな変更データキャプチャ（CDC）サービスです。データベースの内容をリアルタイムに BigQuery へ反映したい場合に使用します。
Cloud Data Fusion：
フルマネージドのデータパイプライン構築サービスであり、ノーコード・ローコードで ETL を実装できます。データ転送のみの用途でも使用可能であり、特にプラグインを使用することで、多種多様なデータソースに対応することが可能です。また、Datastream と同様に Oracle、MySQL、PostgreSQL から BigQuery への CDC 機能も提供されています。
Dataflow：
Apache Beam のプログラミングモデルを使用して、大規模なデータを処理できるフルマネージドでサーバーレスなデータ処理サービスです。データ転送のみの用途でも使用可能であり、Google 提供テンプレートを使用することで、簡単にデータ転送の仕組みを構築することができます。
Pub/Sub：
フルマネージドなメッセージキューイングサービスです。Cloud Storage サブスクリプションを使用すると、Pub/Sub メッセージを Cloud Storage に対して書き込むことが可能です。また BigQuery サブスクリプションを使用すると、Pub/Sub メッセージを BigQuery テーブルに直接書き込むことができ、さらに BigQuery CDC を使用するとテーブルの行単位で UPSERT（UPDATE, INSERT）、DELETE が可能です。
Database Migration Service：
MySQL や PostgreSQL から Cloud SQL や AlloyDB に対して、マネージドサービスへのリフトアンドシフト移行やマルチクラウドの継続的レプリケーションを行います。オンプレミスや他クラウドからのデータベース移行が必要な場合に使用します。

Lakehouse Layer

Lakehouse Layer では、BigQuery の外部に保存されたデータソースに対してクエリを実行できる構成とします。これにより、オープンフォーマットのファイルを低コストのストレージで管理し、アクセスすることが可能です。また、メダリオンアーキテクチャにより、ACID（原子性、一貫性、独立性、耐久性）を担保し、データ利用者の様々な用途に対応します。

lakehouse_layer
Lakehouse Layer のアーキテクチャ

Processing Layer

データ分析や機械学習などで Lakehouse Layer のデータを利用する際に、データ変換を行います。また、Lakehouse Layer のメダリオンアーキテクチャにおけるデータ変換を行います。使用できる主なサービスは以下の通りです。

BigQuery：
SQL によってデータ変換を行います。ルーティンとして、ストアドプロシージャやユーザー定義関数、テーブル関数、Apache Spark 用ストアドプロシージャが使用できます。また、リモート関数を使用すると、Cloud Functions と Cloud Run にデプロイされた関数をクエリから呼び出すことができます。
Dataflow：
前述の通り、フルマネージドでサーバーレスなデータ処理サービスです。同一コードでバッチとストリーミングの両方に対応できるという特徴があります。また、通常の Dataflow だと水平方向のみの自動スケーリングとなりますが、Dataflow Prime を使用することで、垂直方向へも自動スケーリングが可能です。
Dataproc：
Hadoop と Spark などのデータ処理ワークロードを実行するためのマネージドサービスです。既存の Hadoop / Spark を移行する場合やプリエンプティブル VM または Spot VM によってコストを抑えたい場合に適しています。
Dataprep：
分析、レポートなどに使用するデータを視覚的に探索、データクレンジングできるデータサービスです。特にUI操作でデータ探索やデータクレンジングが可能なことが特徴です。
Cloud Data Fusion：
前述の通り、ノーコード・ローコードで ETL を実装できるフルマネージドのデータパイプライン構築サービスです。データのコネクションだけでなく、ETL に関する様々なプラグインが用意されていることが特徴です。

Consumption Layer

Lakehouse Layer のデータを分析、可視化、機械学習で使用します。必要に応じて、Processing Layer で変換したデータを使用します。使用できる主なサービスは以下の通りです。

BigQuery：
SQL によってデータを探索・分析します。BigQuery DataFrames を使用することで、pandas や scikit-learn ライクな Python コードを記述し、BigQuery 上で実行できます。また、生成AIの用途にも対応おり、SQL のみで Vertex AI の LLM を利用できる ML.GENERATE_TEXT や ML.GENERATE_TEXT_EMBEDDING が用意されています。
Looker Studio（旧 Google データポータル）：
直感的なUI操作でデータを可視化できるツールです。レポート作成だけでなく、レポート共有やレポートの埋め込みなどが可能です。また、Looker Studio Pro（有償版）では、組織管理や Google Cloud プロジェクトへのリンクによる IAM 管理、カスタマーケアのサポートなどが利用可能です。
Looker：
データドリブンな意思決定をする上で必要なデータ探索・共有・洞察を兼ね備えたデータプラットフォームになります。特徴は、LookML によるデータソース・指標の管理、YAMLベース書式で記述です。また、UI操作によるデータ可視化も可能です。
Vertex AI：
Google Cloud が提供するフルマネージドの機械学習プラットフォームです。Vertex AI には、モデルのトレーニングとデプロイのオプションとして AutoML、カスタムトレーニング、Model Garden、生成AI などのサービスが提供されています。また、データサイエンティスト向けのマネージド Notebook 環境である Vertex AI Workbench や Colab Enterprise 、MLOps 構築で利用する Vertex AI Pipelines や Vertex AI Feature Store、Vertex AI Model Monitoring などのサービスも数多く提供されています。

Governance at scale

データレイクハウス全体のデータ管理、モニタリング、統制を Dataplex によって一元化します。（データレイクハウスアーキテクチャの Metadata Layer の役割も含みます。）

Dataplex は、組織内に分散したデータを移動やコピーすることなく、データの統合管理が可能です。以下のようなデータ管理機能を提供しています。

Dataplex Discovery：データレイクのデータからメタデータをスキャンして抽出し、分析、検索、探索のために Dataproc Metastore、BigQuery、Data Catalog に登録します。
IAM を使用したアクセス制御：様々なプロジェクトに分散したアセット（Cloud Storage バケットや BigQuery データセット）の権限管理を集約します。
属性ストア：BigQuery のテーブルとカラムをひとまとめにして、権限を管理することが可能です。
自動データ品質：データ品質に関して事前定義されたルールに基づいてデータを検証し、データが品質要件を満たしていない場合はアラートをログに記録します。
データ品質タスク：BigQuery と Cloud Storage のテーブル間でデータ品質チェックを定義して実行します。
データプロファイリング：BigQuery テーブル内の列の一般的な統計的特性を特定できます。
Data Catalog：BigQuery のテーブルや Cloud Storage に存在する非構造化データなどに対してメタデータを付与してカタログ化し、検索できます。
データメッシュ構築：データメッシュアーキテクチャを構築することができ、ドメイン単位でのデータを管理することが可能です。

参考

まとめ

今回は、データレイクハウスを Google Cloud で実現する方法をご紹介しました。BigQuery で外部データソースを定義して直接クエリする機能や、Dataplex によるデータ管理機能などを利用することで、データレイクハウスが実現しやすくなっています。データレイクハウスを構築する際は、ぜひ Google Cloud をご活用ください。

Discussion