Apache Iceberg
Apache Iceberg の現在地：信頼できるデータ管理のためのテーブルフォーマット
Apache Iceberg（以下、Iceberg）は、大規模分散ストレージ上のテーブル管理を信頼性・拡張性をもって行うためのテーブルフォーマットです。
従来のファイルベースな運用（例：Parquet）では限界があったスナップショット管理や書き込み整合性の課題を、Icebergがどのように克服しているのかを解説します。
ファイルフォーマットの限界とテーブルフォーマットの登場
ParquetやORCといったカラムナファイルフォーマットは、分散処理基盤におけるI/O効率の高い保存形式として広く普及しました。
しかし、以下のような制約がありました。
- ファイル単位でしかメタデータを持てない
- 追記や削除に非対応（append-only前提）
- 読み込み時に全ファイル一覧をスキャンする必要がある
これらの課題を補う存在として、ファイルの集合をテーブルとして論理的に管理する「テーブルフォーマット」 が誕生しました。
Icebergの登場と設計思想
Icebergは、Netflixによって開発され、現在はApache Software Foundationによって管理されているOSSです。特徴的なのはその中立性とオープン性です。
- 完全なオープンソース（Apache License 2.0）
- エンジンに依存しない（Spark, Flink, Trino, Presto, Dremio などと統合可能）
- RESTベースのカタログAPIにより、統一的なメタデータ管理
Icebergがもたらす構造の変化
Iceberg では、ファイル群を直接操作するのではなく、論理レイヤーを介して構造的に管理します。
従来は、処理のたびに Parquet ファイルの一覧をスキャンする必要があり、スケーラビリティや整合性に課題がありました。
Iceberg 以降は、ファイルは マニフェスト（Manifest） にリスト化され、それを参照する スナップショット（Snapshot） が定義されます。これらのスナップショットは、 カタログ（Catalog） によって管理され、テーブルの時点状態を外部から制御可能にしています。
この構造により、Icebergは以下のような恩恵をもたらします：
- スナップショット単位の整合性確保
- 古い状態へのタイムトラベル参照
- 変更履歴の明示的管理
- クエリ実行時のスキャン効率化（プルーニング）
書き込み（Sink）時の優位性
Icebergは、バッチ処理にもストリーミング処理にも対応した信頼性の高いSink基盤として機能します。
- アトミックなコミット処理
- ファイルの追加・削除・更新が可能
- Exactly-Onceな書き込み
書き込み処理の構造（バッチ／ストリーミング共通）
Icebergは、スナップショット単位でのコミットを提供することで、再実行時の二重書き込みも防ぎます。
読み取り（Source）時の優位性
Icebergは以下のような読み取りの柔軟性を提供します。
- スナップショットベースでの参照（時点指定、タイムトラベル）
- 高速なスキャン
- 多様なエンジンからの並列読み取り
Icebergの立ち位置：バッチレイヤーの基盤として
ストリーミングが主流になりつつある現在でも、 バッチ的な再処理や状態集約の重要性 は依然として残っています。Icebergは、こうした用途において信頼できる データの中間層／永続層 として活用されます。
たとえば、次のようなユースケースが典型的です：
- 履歴全体を対象とした集計や整形処理 （例：日次集計や再集計）
- 状態のスナップショットを基にしたETL処理 （最新状態の抽出と反映）
- ストリーミングで不安定な処理結果の一時着地点としての利用
Icebergのスナップショット構造と書き込みの整合性により、バッチ的な処理を必要とする場面において「確定済みのデータソース」 として機能し、上流（ストリーム）と下流（検索・分析）の橋渡し役を果たします。
Icebergを中心としたデータパイプライン構成
Icebergは、多様な下流システムへの起点となる信頼性の高いデータ基盤として機能します。
おわりに：データの本質的な信頼性を再設計する
Icebergのようなテーブルフォーマットは、単なるファイル管理を超えて、「状態の履歴と整合性」を中心としたデータ設計の転換をもたらします。
さらに、PolarisのようなRESTカタログと連携することで、データガバナンスやマルチエンジン統合といった観点でも、その存在感はますます大きくなっていくでしょう。
補記：この文章について
本稿は、筆者と ChatGPT-4o との対話を通じて構成されたものです。ChatGPT は下書きや構成案の草稿支援を担当し、最終的な内容の調整と意図の明確化は筆者が行いました。いわば人間とAIの共著という形でまとめられた、新しい知識共有の試みです。
Discussion