RisingWave: オープンソースのストリーム処理＆管理プラットフォーム
RisingWave は、リアルタイムイベントデータを最もシンプルに、最もコスト効率高く処理、分析、管理できるように設計された、ストリーム処理および管理のためのオープンソースプラットフォームです。PostgreSQL互換の SQLインターフェイス と DataFrameスタイルの Pythonインターフェイス の両方を備え、Apache Iceberg™ のオープンテーブルフォーマットを組み込みでサポートしています。
RisingWave は秒間数百万イベントを取り込み、ライブストリームと履歴データを継続的に結合・分析し、低レイテンシでのアドホッククエリ処理、さらに最新かつ一貫性のある結果を Apache Iceberg™ や他の下流システムへ永続化できます。
60秒で試す手順
RisingWave をスタンドアロンモードでインストール：
curl -L https://risingwave.com/sh | sh
Docker イメージなど他のインストール方法は、クイックスタート をご参照ください。
「ストリーム」「ストア」「クエリ」— すべてを一本化
RisingWave はリアルタイム処理、組み込みストレージ、オープンフォーマット永続化を兼ね備えた エンドツーエンドのストリーミングデータプラットフォーム です。
対応機能：
- 取り込み：ストリーミングおよびバッチソースから秒間数百万イベントを取り込みます。
- ストリーム処理：ライブデータと履歴テーブルをリアルタイムかつ増分的に結合・分析します。
- 配信：最新で一貫性ある結果をデータレイク（例：Apache Iceberg™）や任意の宛先に提供します。
RisingWave の特徴は、統合されたストレージエンジンにあります：
- オンライン提供：ポイント／レンジクエリに最適化された行ベースストレージで、単桁ミリ秒の応答速度。
- オフライン永続化：耐久性とコスト効率に優れる Apache Iceberg™ 統合ストレージを内蔵。外部クエリエンジンからのアクセスも可能です。
RisingWave により、リアルタイムデータは単なる処理対象でなく、保存され、クエリされ、システム全体で使い回されます。
主な設計判断
RisingWave は使いやすさとコスト効率を追求した設計が特徴です：
PostgreSQL互換性
-
シームレスな統合：PostgreSQL ワイヤープロトコルに対応し、
psql、JDBC、各種 Postgres ツールと連携可能。 - 表現力のあるSQL：構造化、半構造化、非構造化データに対応した親しみやすいSQL方言を採用。
- 状態管理の自動化：手動による複雑なステートチューニングが不要です。
S3 をプライマリストレージに採用
RisingWave はテーブルやマテビュー、ストリームジョブの内部状態を S3（または同等のオブジェクトストレージ）に保持し、以下を実現します：
- 高性能：結合や時間ウィンドウ処理も高速に実行可能。
- 高速リカバリ：障害発生時も数秒で復旧。
- 動的スケーリング：負荷増加時に即座にリソースを拡張できます。
エラスティックディスクキャッシュ
メモリだけでなく、ローカルディスクや EBS を利用する エラスティックディスクキャッシュ によって、S3へのアクセスを削減し、レイテンシ減とコスト削減を図ります。
Apache Iceberg™ ネイティブ統合
RisingWave は Apache Iceberg™ と ネイティブ統合 されており、ストリーミングデータを Iceberg テーブルに継続的に投入し、直接読み取りや自動コンパクション、テーブル整備が可能です。オープンフォーマットゆえ、他クエリエンジンとの互換性も保証されています。
得意なユースケース
以下の用途に特に適しています：
- ストリーミング分析：サブ秒単位の最新データを表示するライブダッシュボード—株取引、スポーツベッティング、IoT監視に最適。
- イベント駆動アプリ：不正検知や異常アラートなど、重要アプリの高度モニタリング構築に活用できます。
- リアルタイムデータエンリッチ：多様なソース取り込み→リアルタイムに強化→下流へ配信を継続的に実施。
- 特徴量エンジニアリング：バッチ＆ストリーミングデータを統合コードで特徴量化し、一貫性を保った機械学習モデル構築に。
本番環境での導入
- RisingWave Cloud を利用すれば、本番環境への導入が最も簡単です。
- Docker での展開：Docker Compose を参考にしてください。
- Kubernetes での展開：Helm を使う場合は Kubernetes with Helm、または Operator 利用の Kubernetes with Operator をご覧ください。
コミュニティ参加
質問や議論、コラボレーション、エンジニア同士のカジュアルなチャットに興味があれば、ぜひ Slack ワークスペース にご参加ください！
貢献のご案内
プロジェクトへの貢献に関心をお寄せいただき、ありがとうございます！詳細は RisingWave Developer Guide をご参照ください。
Discussion