Closed8
2021-03-13 kafka documentメモ : streams architecture
kei_qやりたいこと
これを読む。無理に全部理解しようとせずに、すでに知ってること、新しく理解したこと、わからないけど理解したほうが良さそうなこと、後で良いことを把握する
背景
kafka streams applicationを作りたい
tutorialを試しに動かしたり、streamDSLで簡単なアプリは作成したものの、いろいろハマるので公式docを読んでいる
kei_qtaskの話はこれらの記事がわかりやすかったので合わせて読むと良さそう
kei_qsub topologiesのところまだピンときてない
kei_qthread毎に一つ以上のstream stasksを個別に実行できる
stream configで num.stream.threads があった記憶
defaultは1？stream appを動かすcomputing resourceや、実行したいtaskによってはここを調整したほうがいいのかな
kei_qinteractive queryは使えそうなネタがありそうなので、動作確認しておきたい
kei_qrecord cache
- state storeのread高速化
- write back buffer
- recordのcompactionが行われる
- down streamに送られるrecordの数も減らす
kei_q今回作っているappではstate storeを使用しているので、 num.standby.replicas を設定して振る舞いを観察しておきたい
kei_qBackpressureの説明がちゃんと理解できなかったので、時間を置いて改めて読む
このスクラップは2021/03/13にクローズされました