RisingWave、Databricksとのシームレスな統合を実現：Databricks Lakehouseにリアルタイムストリーム処理を

米カリフォルニア州サンフランシスコ – 2025年6月26日イベントストリームデータの処理および管理プラットフォームであるRisingWave は、データとAIの企業であるDatabricks との新たな統合を発表しました。Databricksの新しいオープンフォーマットイニシアチブの主要なローンチパートナーとして、RisingWaveはその強力なストリーム処理機能をDatabricksのデータインテリジェンスプラットフォームと直接接続しました。これにより、組織はこれまで以上にシンプルに、最新のデータを使用してエンドツーエンドの分析およびAIアプリケーションを構築できるようになります。

この統合は、オープンなApache IcebergテーブルフォーマットとDatabricksの強化されたUnity Catalogを活用しています。これにより、RisingWaveからのリアルタイムストリーミングデータとDatabricks内のバッチデータが共存し、シームレスに一緒にクエリできる単一のガバナンス環境が構築されます。

多くの組織は、バッチ処理およびAIのための強力なレイクハウスを持っていますが、リアルタイムソースから新鮮なデータを供給する際の複雑さとコストに苦労しています。これにより、イベントが発生してからそのデータが有用になるまでに遅延が生じることがよくあります。この統合は、その課題に正面から取り組み、RisingWaveとDatabricksの間に強力な双方向のデータハイウェイを構築します。

統合の主な機能

このパートナーシップにより、以下の2つの主要な強力なワークフローが実現されます：

1. Databricks管理のIcebergテーブルへのストリーミングETL

RisingWaveは、Databricksプラットフォームの高性能なストリーミングエンジンとして機能します。KafkaやKinesisなどのソースからデータを取り込み、RisingWaveを使用してシンプルなSQLで複雑なステートフル処理を行い、洗練された結果を直接Databricksの管理するIcebergテーブルに出力します。これはストリーミングETLの理想的なソリューションです。

2. Unity Catalogを介したRisingWave管理のIcebergテーブルの統一ガバナンス

この統合により、DatabricksのUnity CatalogのガバナンスがRisingWaveによって管理されるIcebergテーブルに拡張されます。これらのRisingWaveテーブル（独自のメタデータ管理のためにJDBC、REST、またはGlueカタログを利用できる）は、Databricksに外部テーブルとして登録することで、Unity Catalogによって発見およびガバナンスが可能になります。これは、RisingWaveによってリアルタイムで生成されたマテリアライズドビューが、Databricks内の標準テーブルとしてシームレスにアクセス可能であり、ネイティブのDatabricks資産と同じセキュリティおよびガバナンスフレームワークに従うことを意味します。

DatabricksエコシステムにおけるRisingWaveの利点

RisingWaveは単なるストリーミングプロセッサではありません。これは、シンプルさとパワーを兼ね備えたPostgreSQL互換のストリーミングデータベースです。Databricksユーザーにとって、RisingWaveは以下の主要な利点を提供します：

• 本当にシンプルなストリーム処理
  RisingWaveの中核的な強みは、ストリーミングデータ上にマテリアライズドビューを作成することです。複雑なJavaやScalaのコードを書く代わりに、エンジニアは馴染みのあるCREATE MATERIALIZED VIEWステートメントを使用できます。RisingWaveは、これらのビューを非常に低いレイテンシでインクリメンタルに更新し続けるという困難な作業を処理します。

• コスト効率の高いパフォーマンス
  Rustでゼロから構築されたRisingWaveの計算とストレージの分離されたアーキテクチャは、高いパフォーマンスを提供しながら、非常にリソース効率が高いです。これにより、リアルタイム分析があらゆるスケールで手頃な価格で実現可能になります。

• 双方向のデータ通路
  この統合により、チームはRisingWaveのリアルタイムストリームを、Databricksに保存された履歴データやディメンショナルデータで強化することができ、よりコンテキストに基づいた意思決定が可能になります。

「私たちはDatabricksと提携し、私たちのストリーミングデータベースを現代のデータスタックの中心に持ち込むことに興奮しています」と、RisingWaveの最高製品責任者であるRayees Pashaは述べています。
「業界がIcebergのようなオープンスタンダードに移行することを私たちは完全に支持しており、Databricksはその先頭に立っています。この統合により、Databricksユーザーはついにストリーム処理の複雑さを克服し、ライブダッシュボードから即時の特徴エンジニアリングまで、すべてをSQLのシンプルさで構築することができます。」

「Databricksのデータインテリジェンスプラットフォームは、データがどこから来ても、すべてのデータを活用できるように設計されています」と、DatabricksのプロダクトマネジメントディレクターであるJason Reidは述べています。
「私たちのオープンエコシステムは、RisingWaveのようなパートナーに依存しています。彼らの最高クラスのストリーミングデータベースは、顧客にとってリアルタイムデータを処理し、それをレイクハウスに取り込むための強力でシンプルな方法を提供します。これにより、AIや高度な分析の準備が整います。私たちは、共同の顧客がどのようなものを構築するかを見るのが楽しみです。」

データチームへの新たな可能性

RisingWaveとDatabricksの組み合わせにより、データチームは以下のような取り組みが可能になります：

• リアルタイム特徴量の開発
  RisingWaveでライブデータから継続的に特徴量を計算し、それらをDatabricksにストリーミングして、即座に機械学習モデルで活用できます。

• ストリーミングによるETL/ELTの近代化
  従来の遅いバッチジョブを、RisingWaveの効率的なSQLベースのストリーミングパイプラインに置き換え、数秒で新鮮でクリーンなデータをDatabricksのレイクハウスに提供します。

• ライブレイクハウスダッシュボードの駆動
  RisingWaveでリアルタイムに処理された最新のデータを使用して、Databricksでの運用ダッシュボードやモニタリングを駆動します。

• 分析の統一
  RisingWaveからのリアルタイムの運用インサイトとDatabricks内の履歴データを組み合わせて分析し、包括的なビューを得ます。

RisingWaveについて

RisingWaveは、イベントストリームの処理および管理プラットフォームです。リアルタイムデータの取り込み、ストリーム処理、データの永続化、低レイテンシの提供を統一された体験で提供します。RisingWaveはグローバルなコミュニティに支えられており、企業によってリアルタイム分析ダッシュボード、ストリーミングETLパイプライン、ライブ運用モニタリングアプリケーションの構築に採用されています。