📄

Data Engineering Summit 2025 参加レポート：AI時代のデータ基盤

に公開
Snowflake
データ基盤
dbt
データエンジニア
idea

先日（2025年11月6日）、国内最大級のデータエンジニアリングカンファレンス「Data Engineering Summit 2025」に参加しました。

現在、私の会社（不動産領域）では、dbtとSnowflakeを核としたモダンデータスタックで、dbt開発の高度化を進めています。そのような中で、私は特に以下の2つの課題のヒントを得たいと考えて参加しました。

  1. データモデリングのスピードとガバナンスのバランス: 現場の要求に応える「スピード」と、データ品質を担保する「ガバナンス」を、他社はどのように両立させているのか？
  2. dbt開発高度化の取り組み検証: 私たちの「dbt + Snowflake」で進める取り組みが、業界のトレンドや他社の成功事例に照らして正しい方向にあるのか？

本レポートでは、これらの課題解決に直結したセッションの内容、イベント全体から感じた潮流、そして今後のアクションプランについてまとめます。

1. 課題解決に直結した注目セッション3選

私の課題意識に最もフィットし、具体的な示唆に富んでいた3つのセッションに焦点を当ててレポートします。

Data Engineering Guide 2025（株式会社風音屋）

  • テーマ: データエンジニアリングの全体像とトレンドを体系的に整理したガイド
  • 学び:
    • 豊富な情報で、データエンジニアリングの全体像が把握でき、特にGoogleサービスを活用してデータ分析基盤構築するのに有用。
    • データ品質を5分類し、1~5の順に依存関係があり、まずは「活動を追跡できる（追跡可能性・信憑性）」こととされており、dbt project評価など開発の定量化に注力していることの整合性を確認。
    • 「メタデータ管理」「非構造化データ」「データ利活用の促進」に本格的に取り組む際に、資料を参照。
  • 公開資料:Data Engineering Guide 2025 #data_summit_findy by @Kazaneya_PR / 20251106

小人数で支える日本最大級商業用不動産データベース：アーキテクチャーとチーム戦略（株式会社estie）

  • テーマ: 不動産領域におけるデータベースの構築と、少人数チームでの効率的な運用戦略
  • 学び:
    • 同じ不動産領域での具体的なアーキテクチャ（dbt+Snowflake）事例を聞くことができ、具体的なヒント。Streamlit in Snowflakeでデータの入力システムをサクッと手軽に作成しているのは、手入力データを管理するのに利用したい。
    • 少人数での運用を支えるために、認知負荷を下げる施策が参考に。データパイプライン構築のチーム構成を、横断のArchitectチームと、担当プロダクト（事業領域）のパイプラインに集中するStreamチームに。

信頼されるデータ基盤を実現する〜ガバナンスとアジリティの両立に挑んだ道のり〜（オイシックス・ラ・大地株式会社）

  • テーマ: データガバナンスを強化しながら、開発のスピード（アジリティ）を維持・向上させた実践事例
  • 学び:
    • 乱立されるダッシュボード・指標定義がバラバラというデータ課題から、モダンデータスタック（Snowflake+dbt+Looker）を導入し、ガバナンス強化されており、自社の状況と類似。
    • ガバナンス強化した結果、スピード課題が出たため、アジャイル環境を導入し、ガバナンスとスピードのバランス。dbtで別プロジェクトを作成し、アジャイル環境導入を検討したい。

2. イベント全体の学び

AI-Readyな分析基盤に必要なこと

  • データを整備し、品質を高める: データ変換のルールを統一し（dbtスタイルガイドなど）、dbtテストやオブザーバビリティでデータの品質を高めることは、AI/MLモデルの学習精度を確保する上で不可欠です。

  • AIが理解できるようにする: データカタログやセマンティックレイヤーなどを用いて、メタデータを充実させることが必須です。AIエージェントがデータを「理解し、利用する」ためには、単にデータがあるだけでなく、その定義や品質が機械的にアクセスできる必要があります。

開発体制:分散と統制のハイブリッド

  • 分散体制で開発: 開発チームやドメインごとにデータを整備し、開発のスピードと専門性を高めます。

  • 中央でガバナンスを効かせる: データの品質基準、セキュリティ、共通の定義（メトリクス）などは、中央のチームが主体となって管理し、統制します。

公開スライドリンク

イベントの学びを深めるため、公開されていた登壇資料(2025年11月9日現在)を以下にまとめてご紹介します。

今回のData Engineering Summitは、データ基盤の現在地と未来を俯瞰できる非常に貴重な機会でした。ここで得た知見を活かし、引き続き高品質なデータモデリングとデータ活用推進に貢献していきます。

この記事が役に立ったと感じたら、ぜひX（@aelabdata）をフォローください！
日々のアナリティクスエンジニアとしての学びや、記事の更新情報を発信しています。

Discussion