2/21(金)にdocomo R&D OPEN LAB ODAIBAにてIcebergミートアップを開催しました！合計5つのセッションはどれもディープな内容で勉強になりました。運営をしてくださった髙田さん、松原さん、酒徳さん、北岡さん、ありがとうございました！
各セッションの簡単な振り返りです。
動画
AWSの田中さんによるV3スペックに関するセッションです。最近TrinoでV3向けの機能を書いていることもあり個人的に聞きたかった内容でした。V3ではVariant、Geo、Timestamp nanoなど複数のデータ型が追加されます。Deletion VectorはV3でMoRを利用する上で必須な機能なので、MoRを利用する方は確認することをお勧めします。Row lineageは全く追えてなかったので勉強になりました。Row lineageに関するプロポーザルも参考になりそうです。
動画
LINEヤフーの奥田さんによる同社におけるIcebergの利用事例に関するセッションです。国内でのIcebergの利用事例はまだまだ限られている印象を受けるので聞きたい方も多かった内容だと思います。Icebergを採用したメリットとして、部分的なデータ削除の容易さ、データが利用可能になるまでの時間の短縮、スキーマの柔軟性、メタストアのスケーラビリティ等が挙げられています。Icebergを利用するうえで遭遇した課題として移行やテーブルのメンテナンスが挙げられています。このあたりの話は下佐粉さんがホストしているOTF TALKの第17、18回でも解説されているのでそちらもぜひご視聴ください。
動画
AWSの疋田さんによるIcebergがどのように同時書き込みの競合を解決しているかのセッションです。更新トランザクションの流れや競合が発生するポイントについて説明されています。
疋田さんのブログポスト「Apache Icebergにおける同時実行制御の仕組みと注意点」でも詳しく解説されているので、こちらもぜひ合わせてご覧ください。
動画
酒徳さんによるSnowflakeで始めるIceberg入門のセッションです。Snowflakeには複数のカタログがあるということは聞いたことがありましたが、このセッションを聞いて違いがクリアになりました。DuckDBからDelta LakeだけでなくIcebergにもアクセスできるのも知らなかったので今度試してみたいと思います。セッション内で紹介されていたRAKUDEJI 前田さんのポストは「Snowflake×Icebergを採用すべきか迷った時に読む記事」から参照できます。
動画
DatabricksのVictoriaさんによるカタログに関するセッションです。Icebergを利用するうえで悩ましいところがカタログの選択だと思います。Unityカタログがどのような特徴をもっているか理解するのに良いセッションです。なお、動画はDatabricksの北岡さんが編集してくださりました。ポップな動画で楽しいので公開されたぜひご覧ください。
Discussion