Debezium connector for MySQLのお勉強
さくてぃDebezium connector for MySQL
MySQLのバイナリログ(binlog)を読み、データベース内の変更を検知している。
MySQLコネクタは最初にデータベースのスナップショットを作成する。
ref: https://debezium.io/documentation/reference/stable/connectors/mysql.html
さくてぃスナップショット
キャプチャするテーブルの書き込みをブロックするため、テーブルのグローバル読み取りロックを取得している。
スナップショットを作成する過程でbinlogに書き込まれている変更イベントをKafkaのトピックに発行する。
スナップショットが作成完了するとテーブルの現在の状況を把握できるため、これ以降の変更を検知できる。
ref: https://debezium.io/documentation/reference/stable/connectors/mysql.html#mysql-snapshots
さくてぃ起動時にbinlogが複数個あったときの挙動
Debezium connector for MySQLのコードを読んでみると、determineSnapshotOffsetメソッドで以下のクエリが実行されるので一番最新のbinlogファイルだけを読み込むことが分かる
ref: SHOW MASTER STATUS
determineSnapshotOffsetメソッドがいつ呼び出されるか確認する
スナップショットを作成する前に呼び出される関数だと思うので、MySQLコネクタを起動するメソッドを確認する
MySqlConnectorTask.start()ではMySqlChangeEventSourceFactoryインスタンスをフィールドに持つChangeEventSourceCoordinatorインスタンスを生成し、startメソッドを実行している
startメソッドの処理を追っていくとスナップショットの作成をしていることが分かる
executeメソッドはAbstractSnapshotChangeEventSourceクラスに定義されており、その中でdoExecuteメソッドを実行している
doExecuteメソッドはRelationalSnapshotChangeEventSourceクラスに定義されており、その中でdetermineSnapshotOffsetメソッドを実行していることが分かった
doExecuteメソッドがスナップショットを作成する処理そのもの