検索エンジンに大量のデータをリアルタイムで投入する構成は、現代のシステム構築において一般的になりました。本書はその背後にあるストリーミング処理やデータ連携の設計課題に焦点を当て、Kafka、Flink、OpenSearch を用いたOSSベースのデータパイプライン構成を、実践的に学べる形で体系化した技術ガイドです。

RDBと検索を繋ぐ：Flink・Kafka・OpenSearchで学ぶパイプライン設計

はじめに

第1章: Docker Compose による環境構築

第2章: 各コンポーネントの構成と関係性の理解

第3章: PostgreSQL → Debezium → Kafka の動作確認

第4章（前編）: Flink による Kafka CDC データの Console 出力

第4章（後編）: Flink による Kafka CDC データの OpenSearch 連携

第5章: Flink SQLによる CDC Join パイプラインの実践

著作と再利用に関する方針

postgresql

flink

kafka

opensearch

debezium

sisiodos