データ基盤管理の考え方 〜データカタログ、データレイクの極意〜 Lunch LT 参加レポート
この記事について
2023年7月11日にfindyさん主催で実施された、データ基盤管理の考え方 〜データカタログ、データレイクの極意〜 Lunch LTの簡単な参加レポートです。
このイベントは、各社のデータカタログの活用法や、データ整備をどのように進めていくか、データのドキュメントを管理する方法など、データ活用を進める上で実践的な内容が集まったイベントになったかと思います。
各発表についても触れていきます。
LT①『データ活用の進め方をステークホルダーに理解してもらうためにやったこと』
株式会社FOLIOから私が登壇させていただきました。
データ活用の当事者ではない方向けに、データ活用・データ基盤構築ってどう説明したら良いの?というところに対してケーススタディを紹介させていただきました。
参加者のみなさんから、ZoomのチャットやTwitterにて温かいコメントを多くいただき大変ありがたかったです。
LT②『データカタログ導入における課題と対応事例』
株式会社ZOZO山本さんからのご発表でした。
元々手動で内製(!)のデータカタログを管理されていたところ、事業マターの案件を進めつつデータカタログのリプレイスを実行されたエピソードを紹介されていました。
「メタデータがないテーブルの中でも利用ニーズが高いテーブルを特定し、そのオーナーを調査し各オーナーにデータ利用時の注意点などの入力を依頼したところ快く入力してくれた」というエピソードは心が暖かくなりましたし、調査してオーナーを特定するところまでの大変さを思うと頭が下がる思いで聞いていました。
LT③『データ整備の優先順位付けに役立つテクニック』
株式会社メルカリ永井さんからのご発表でした。
データ整備を行うにあたっての優先順位付けに役立つテクニックとして、定量的な情報(監査ログの分析)と、定性的な情報(ヒアリング)を集めることを紹介されていました。
利用状況を全社レベル、特定のチームレベルで定量的に把握しつつ、定性的なヒアリングで「データ -> 業務 -> 成果(目的)」までセットで把握して整備すべき優先度づけを実施するという流れが秀逸で、メルカリさんの事業規模でこうした取り組みを進められる実行力が素晴らしいなと感じました。
LT④『dbt docsを使ったデータカタログの運用事例紹介』
株式会社10X瀧本さんからのご発表でした。
データドキュメント管理の難しさは私自身も日々実感するところで、問題意識のパートのスライドには終始共感しっぱなしでした。
そうした問題に対して、dbt docs を使って解決する方法が実践的に紹介されていて興味深かったです。
CIでドキュメントが書かれていないかチェックする、というのはなかなかやりたくてもできていない組織も多い(私もできていません)ので、それを実践されておりチームの文化として定着しているところを見ると、やはりプロ意識の高い方が集まっておられるのだろうなと感じました。
全体を通して
やはりデータカタログなど、データを使う人と関わる部分は各社ツールを入れて(開発して)終わり、ではなくそれぞれの状況に合わせた工夫をされているのを実感しました。
また、最後の登壇陣からのコメントにてメルカリ永井さんも仰っていましたが、「各社発表で扱ったテーマは違えど、意外と悩んでいるポイントは近い」こともわかったのも学びになりました。
私としてもまたこういう機会を通じて、データ活用やデータ基盤構築についてもノウハウ、ケーススタディを共有できればと思います。
Discussion