脱 TimescaleDB 計画

TimescaleDB 雑感 を書いてから 1 年経過したので、書いてみます。

雑感

• TimescaleDB を採用して約 2 年が経過した
• Postgres 拡張ということで sqlc との相性がとても良かった
• リテンションと圧縮は本当に便利
• 集計処理が期待値ほど早くなかった
  • おそらくもっとスペックをアップすればいいのだろうが、ちょっと高い
  • Postgres の拡張として作られていることもあり、 ClickHouse などの専用と比較するとしんどそう
• 期待してた Continuous aggregation が導入コストが高すぎて採用できない
  • Continuous aggregation を使うとバックアップが気軽にできなくなりそう
• managed services for TimescaleDB は本当に便利
  • マネージドサービスが円安の影響もありかなりお高い
  • マネージドサービスが TimescaleDB が提供しているもの以外は選択肢が無い
  • マネージドサービスのコネクション制限が思ったよりきつい
  • マネージドサービスで worker 数を変更するのがかなり怖い

結論としては自分たちが期待している機能が徐々にマッチしなくなっていった。

特に統計やログ情報を気軽に突っ込んで気軽に解析したいという場合は別の製品を利用した方が良さそうということになった。

今後

• TimescaleDB から通常の Postgres へほんとゆっくり移行を進める
  • Psotgres のマネージドサービスを使うがまだどこのサービスを使うかは未定
  • GCP の AlloyDB よさそうだけどちょっと高い
    • https://cloud.google.com/alloydb
  • Neon が安くてイイのだが、シンガポールしかない
    • https://neon.tech/
• 集計系は ClickHouse へ集約する
  • https://clickhouse.com/
  • ClickHouse Cloud を最終的に利用する
  • 最初は自前運用していく
• ログ解析などは R2 に fluent-bit でアップロードして ClickHouse や DuckDB を利用した方が良い
  • コストも安いし、リスクも少ない

Postgres / Meilisearch / ClickHouse の 3 種類を上手く使いこなしていきたい。