今回は30日間のチャレンジという形式で、Real-time（Streaming）Pipeline にフォーカスします。「なぜそうなるのかまで理解する」という視点から、まずはシンプルなストリーミング・フレームワークを自作し、イベント駆動・状態管理・ウィンドウ計算といった中核概念を理解します。さらに、業界の主流システムである Apache Flink と RisingWave を掘り下げます。「まず小さな車輪を作り、その後で大きなトラックを走らせる」というアプローチによって、単に技術を読み解くだけでなく、その重要性を真に実感できるはずです。30日で叙事詩を作り上げることはできないかもしれませんが、ストリーミングの思考法と体系的な理解は確実に身につけられます。

30日でゼロから深掘りする Real-time（Streaming）Pipeline

なぜ Data Pipeline に Streaming が必要なのか？Batch ではダメなのか？

HTTP はリアルタイム処理に向いているのか？

ラムダアーキテクチャ入門：設計思想と実装

読者コミュニティ｜30日でゼロから深掘りする Real-time（Streaming）Pipeline

flink

データエンジニアリング

ストリーミング処理

risingwave

ストリーミングパイプライン

ジオデータベースなしでリアルタイムの位置マッチングを構築した方法

Reion

記事投稿コンテスト「TypeScriptでやってみた挑戦・学び・工夫」