DATA + AI SUMMIT 2025 キャッチアップ
-
Data + AI Summit 公式
https://www.databricks.com/dataaisummit -
全発表まとめ
https://www.databricks.com/events/dataaisummit-2025-announcements
はじめに：今年のキーメッセージ
● すべてのユーザーに “Data Intelligence” を
Databricks OneとLakebaseにより、技術部門だけでなくビジネス現場までデータ＋AIを民主化。
Databricks Unveils Databricks One: A New Experience to Bring Data and AI to Every Corner of the Business
Databricks Launches Lakebase: a New Class of Operational Database for AI Apps and Agents
● エージェント時代を後押し
Mosaic AIスタック（Agent Bricks／MLflow 3.0／Vector Search／Serverless GPU）で開発〜運用・最適化を一気通貫に。
Mosaic AI Announcements at Data + AI Summit 2025
Announcing Storage-Optimized Endpoints for Vector Search
● 宣言型 & ノーコード化の加速
Lakeflow GA、Lakeflow Designer、Spark Declarative Pipelines OSS 化で やりたいこと だけを書けばパイプラインが組み上がる世界へ。
Databricks Unveils Lakeflow Designer for Data Analysts to Build Reliable Pipelines Without Coding
Databricks Donates Declarative Pipelines to Apache Spark™ Open Source Project
● オープンかつガバナンス強化
Unity Catalog vNext（Metrics／Discover／Iceberg Managed）、Clean Rooms GCP GA、Delta Lake 4.x で「どこでも使え、しかも統治できる」レイクハウスを推進。
What’s New with Databricks Clean Rooms
Databricks platform release notes
第1章 AI & エージェントソリューション
| 機能 | 概要 | 技術 / 研究ポイント | 参照先 |
|---|---|---|---|
|
Agent Bricks ［Beta］ |
タスクを記述するだけで企業内エージェントを自動生成。評価シナリオを自動作成し、品質・コストを継続チューニング。 | 自社データでの再現実験：評価自動生成ロジックと RL-based 最適化アルゴリズムの追跡。 | Mosaic AI Announcements at Data + AI Summit 2025 |
| MLflow 3.0 | エージェント監視／プロンプト管理を統合。外部環境で稼働する LLM/Agent も一括モニタリング。 | 既存 MLOps 基盤との統合、リアルタイム評価メトリクス拡張。 | MLflow 3.0: Unified AI Experimentation, Observability, and Governance |
| AI Functions v2 | SQL 関数が 3 倍高速・4 倍低コスト化、画像など多モーダル入力に対応。 |
ai_parse_document 精度／コスト検証。 |
Mosaic AI Announcements at Data + AI Summit 2025 |
|
Storage-Optimized Vector Search ［Preview］ |
計算・ストレージ分離で最大 7× 低コスト、20× 高速インデックス。 | RAG / セマンティック検索のレイテンシ実測とスケールテスト。 | Announcing Storage-Optimized Endpoints for Vector Search |
|
Serverless GPU Compute ［Beta→H100近日］ |
ノートブック／ジョブを GPU でオンデマンド実行、UC ガバナンス下で管理。 | 既存 GPU クラスタとの TCO 比較、QoS 設定。 | Mosaic AI Announcements at Data + AI Summit 2025 |
第2章 データエンジニアリング & パイプライン
| 機能 | 概要 | 技術 / 研究ポイント | 参照先 |
|---|---|---|---|
| Lakeflow GA | 取り込み〜変換〜オーケストレーションを単一 UI と宣言型 DSL で実現。 | Glue／DLT 既存ジョブの移行試算、パイプライン耐障害性評価。 | Databricks Unveils Lakeflow Designer for Data Analysts to Build Reliable Pipelines Without Coding |
|
Lakeflow Designer ［Private Preview］ |
ノーコードのドラッグ＆ドロップ ETL＋GenAI アシスタント。 | 非エンジニア部門でのデータ品質管理プロセス整備。 | Databricks Unveils Lakeflow Designer for Data Analysts to Build Reliable Pipelines Without Coding |
| Spark Declarative Pipelines (OSS) | Databricks の DLT コアを Apache Spark に寄贈。SQL/Python でバッチ&ストリーミングを宣言定義。 | Databricks 外（EMR など）でのパフォーマンス検証、運用フットプリント。 | Databricks Donates Declarative Pipelines to Apache Spark™ Open Source Project |
第3章 BI・アプリ体験
| 機能 | 概要 | 技術 / 研究ポイント | 参照先 |
|---|---|---|---|
|
Databricks One ［Private Preview］ |
ビジネスユーザー向け新ポータル。AI/BI Dashboards、Genie、Apps を統合。 | 権限設計（UC × RLS/CLS）とカスタム App SDK 拡張。 | Databricks Unveils Databricks One: A New Experience to Bring Data and AI to Every Corner of the Business |
| AI/BI Genie GA | 自然言語質問→可視化生成＋“Deep Research”で要因分析を自動提示。 | 多言語モデル精度、CoT 表示の説明可能性。 | Databricks Unveils Databricks One: A New Experience to Bring Data and AI to Every Corner of the Business |
|
Lakebase (Postgres) ［Public Preview］ |
Neon 技術で OLTP＋湖上ストレージを分離した HTAP DB。AI エージェント向け行レベル更新を実現。 | 運用系と分析系のレイテンシ統合、ブランチ機能の CI/CD 活用。 | Databricks Launches Lakebase: a New Class of Operational Database for AI Apps and Agents |
| Databricks Apps | UC 管理下でホストできるカスタム Web/App。 | エージェント UI や RAG フロントの迅速デプロイ方法。 | Databricks Unveils Databricks One: A New Experience to Bring Data and AI to Every Corner of the Business |
第4章 ガバナンス & 相互運用性
| 機能 | 概要 | 技術 / 研究ポイント | 参照先 |
|---|---|---|---|
| Unity Catalog vNext | Metrics：ビジネスメトリクスをデータ層で一元定義 Discover：内部マーケットプレイス Iceberg Managed Tables：UC管理でIcebergを完全サポート |
Metrics と Genie/Lakeflow の連携、Iceberg↔Delta 性能比較。 | Announcing Lakebase Public Preview |
| Clean Rooms GCP GA & Multi-party | 3クラウド横断のゼロコピー共有＋高度なプライバシー承認。 | 広告・医療データ共有時の準拠性評価。 | What’s New with Databricks Clean Rooms |
| Delta Lake 4.x | Liquid Clustering、Predictive Optimization、UniForm で “1 テーブルで全エンジン” を強化。 |
CLUSTER BY AUTO のクエリ削減効果計測、PO有効性。 |
Databricks platform release notes |
| Apache Spark 4.0 GA | ANSI SQL デフォルト、VARIANT 型、Streaming 新チェックポイントなど大幅拡張。 | UDF 互換性、Streaming スループット計測。 | Introducing Apache Spark 4.0 |
第5章 オープンソース & コミュニティ
| 機能 | 概要 | 技術 / 研究ポイント | 参照先 |
|---|---|---|---|
| Spark Declarative Pipelines OSS化 | DLT 技術を Spark コミュニティへ寄贈。 | プラグイン／カタログ連携の OSS コントリビューション機会。 | Databricks Donates Declarative Pipelines to Apache Spark™ Open Source Project |
| Open Lakehouse 路線継続 | Delta・Iceberg・Spark への投資と外部エンジン互換（Trino/Flink 等）が前進。 | Trino/Flink 連携ベンチマーク計画とユースケース整理。 | Access Databricks data using external systems |
Discussion