🤖

【勉強会参加】アナリティクスエンジニアが語る第2弾～事業成長を牽引するデータマネジメント～

に公開
BigQuery
データモデリング
変更データキャプチャ
ディメンショナルモデリング
idea

はじめに

2025/08/01(金)にこちらの勉強会に参加してきました。
リクルートのデータ推進室が直近の取組についてナレッジを共有するセミナー。
データマネジメント業務のインプットにするため、今回は参加しました。
備忘録として残します。

セミナーで期待したこと

BigQueryにおいてデータモデリングを行う事例を知るため。
データモデリングの専門用語に親しむため。

印象に残ったメッセージ

「今この瞬間の正しい情報」によって実現するレコメンドシステム

Oracle GoldenGateのCDC（変更データキャプチャ）によってレコメンドの鮮度を高めた。

  • アプリのDBの変更が、必ずしもDWHで捕捉すべき変更とは限らない。
  • 変更のコントロールをアプリ側のシステムとDWH側のシステムのどちらで行うべきかは、都度判断するのがよい。片方に決めてしまうと、そのシステムでの開発速度が落ちるから。

ゆるやかに移行するディメンショナルモデリング〜品質を改善しながらOne Big Tableを変革するアプローチ～

分析用テーブルを、One Big Tableからディメンショナルモデリングへ移行した意思決定・設計のナレッジ。

  • One Big Tableとディメンショナルモデリングのテーブルを併用しながら移行した。
    1. まずはOne Big Tableのデータ品質を高める
    2. ユーザー影響を抑えるため、ディメンショナルモデリングとOne Big Tableを併用する
    3. One Big Tableの内部処理をディメンション・ファクトのみで再現することを目指す
  • ディメンショナルモデリングのレイヤーはシンプルなものにした。
    • source: データレイク
    • staging: 単一テーブルのクレンジング
    • intermediate: 複数テーブルの複雑な前処理
    • dimension: ビジネスイベントの切り口（分析軸）
    • fact: ビジネスイベントの計測対象（集計値）
    • mart: ユーザーインターフェース（BI連携用、ML用、アドホック集計用）

感想

ストリーミングデータのインジェスチョン手法は、レコメンドエンジンの鮮度を上げるために重要だと分かった。CDCとマイクロバッチの手法が考えられ、どちらにすべきかの論点はまだ学ばないとわからない。

自社のBigQueryのデータセットやテーブルを整備中なので、丁度ディメンショナルモデリングを学びたい所だったから良い学びになった。今日知った事例を覚えているうちに、書籍やブログ等で知識を固め、アクションに移したい。

Discussion