2025年07月18日(金)、Infra Study Meetup を運営する Forkwell と、データ基盤の総合支援サービス「TROCCO®️」の開発・運営を行う primeNumber による共催コミュニティ「Data Engineering Study」の記念すべき30回目(！)となるイベントが開催されました。
節目の記念回ということもあり、この日は登壇者ラインナップもいつも以上に豪華となっていました。当エントリでは現地オフライン参加した内容をレポートしたいと思います。
なお、当日の動画アーカイブは既にイベント終了直後に公開されています。
ちなみに当日のX投稿のまとめも下記Posfieにまとめています。振り返りの参考に合わせて御覧いただけますと幸いです。
開催概要
イベントページはこちら。
そしてオフライン開催会場は株式会社primeNumber@目黒。駅からめっちゃ近い、というかほぼ駅直結なのは素晴らしい立地ですね。
(こちらは正面入口。開催会場は反対側でした)
(会場正面風景)
(ノベルティとして頂きました。使い勝手良さそうなサイズ感)
オープニング
オープニングはprimeNumber、北川 佳奈氏(たいがー)による各種説明・アナウンスがありました。この日はLTの人数が(共催LT2本を除くと)合計10人と多いのもあり、5分厳守(&時間は銅鑼で知らせる)旨共有があったうえで程無くして本編スタート。
LT1: Streamlitで実現できるようになったこと、Streamlitが実現してくれたこと
- 登壇者：山口 歩夢 氏(DATUM STUDIO株式会社)
登壇資料はこちら：
過去登壇したのは#25「データカタログの現在地」。
- Streamlitに触れたことで実現できるようになったこと、実現してくれたことについて。
- Streamlitの入門書(同人誌)を出版させて頂いた。社内向けにデータカタログを作成するにあたってStreamlitを触るようになり、作成したアプリが社内でも好評を博してData Engineering Study(DES)出演の声を掛けて頂いた。
-
このような活動を通じて色々な変化があった。同人誌をベースにした出版のお話を頂く事になったり(非常に好評頂いた)もした。書籍出版に関しては元同僚の小宮山さんにも御礼を述べたい。現在はStreamlitを活用した開発、データ基盤開発などをやっている。
-
書籍出版をきっかけにSnowflake Summitにも行くことができた。サミットではStreamilit創業者等にも会うことができてとてもモチベーションが上がった。
-
今後の展望：Streamlitを拡張する形でカスタムコンポーネントの開発を頑張っていきたい。
LT2: プラットフォームづくりのその前に、各ドメインに入ってデータプロダクトを作ろうとしている話
- 登壇者：吉本 直人氏(株式会社MonotaRO プラットフォームエンジニアリング部門 アナリティクスエンジニアリンググループ マネージャー)
過去登壇したのは#11「6社のデータエンジニアが振り返る2021」。
- #11の発表後3年間、まずは各ドメインで管理するデータ管理をするためのプラットフォーム作りをしていた。
- データ管理の場として、データメッシュやアナリティクスエンジニアの考え方を組み合わせ、各ドメインの中でまずデータ管理を頑張って進めていくっていうことをやっている。
- 具体的にはドメインによるデータ管理やデータ管理のプラットフォーム整備を行っている。
- データ管理：LLMを活用した業務改善、データのモデリングなど。
- プラットフォーム整備：dbtに関してはdbt Cloud Enterpriseを約40ユーザー、Lookerに関しては約420ユーザーの利用規模に至っている。
- 今度大阪でデータエンジニアリングのイベントやります。
LT3: データエンジニアリングを成果に繋げるためのデータ戦略に関する葛藤
- 登壇者：前側 将 氏(コミューン データチームマネージャー)
過去登壇したのは#8「BIツール特集－OSS・商用の上手い使い分け」。
- 今日は札幌から来ました。
- これまでデータチームのマネージャーやオペレーションチーム編成等で成果を挙げていたが、3年ほどしてキャリアに悩んでいた。独立は寸前まで考えたがもう1回会社で挑戦してみることに。それが2023年。
- 反省を踏まえて意識したことは「直接売上に貢献をする種を蒔く」ということ。大好きなアナリティクスエンジニアの活動を経営戦略に繋げられる人材になりたいと思い、2年間活動してきた。
- また、この5年間ですごく良かったのはBtoBスタートアップでキャリアの拡張を実現できたこと。データチームを立ち上げるような時期に参画できたことで様々な経験を短期間で得ることができた。
LT4: 室長の逆襲
- 登壇者：阿部 昌利 氏(株式会社ヤプリ プロダクト開発本部 データサイエンス室 室長)
登壇資料はこちら：
過去登壇したのは#8「BIツール特集－OSS・商用の上手い使い分け」と#24「データドリブン組織を支える技術」。
- 最初登壇した際は肩書なし、次の登壇時はマネージャー。そして現在では室長(部長と同じ階級)。DESに登壇するといいことがいっぱいあります。
- これまでの経験を踏まえて、データ活用組織で継続的にバリューを発揮するためのヒントを4点考えました。
- サービスに係る運用システム、これは持ってたほうが良い。ヤプリの場合は有償無償含めてお客様に提供できるデータシステムを持っている。キングダムに例えると陣地みたいなもの。
- メンバーの採用権限、これはあったほうが良い。背後から攻められたり内部の心配事が少ないのは安心。
- 別部署MTGに突撃するメンバー、これはいたほうがいい。己の裁量で越境する武将がいると心強い。
- 各部署のデータ系担当が離職するときに相談が来る、これはそのほうがいい。隙あらば領土を増やせる準備ができていると心強い。
- かつての失敗を踏まえ、今社内での"データ活用の陣地"を増やせている。
LT5: Snowflake のアーキテクチャは本当に筋がよかったのか
- 登壇者：Yoshi Matsuzaki 氏(Snowflake / Senior Performance Engineer, Applied Performance Group)
登壇資料はこちら：
過去登壇したのは#5「噂のSnowflake Deep Dive」。
- 今日は「私はどうなったか」「Snowflakeはどうなったか」、そして「Snowflakeのアーキテクチャはまだ"筋がいい"のか？」について話します。
- 私はどうなったか：Snowflakeには2020年04月に日本法人1人目のサポートエンジニアとして入社。DESにはその8ヶ月後に登壇。まだそんなに分かってない時期に頑張ったと思う。「(この時のDESの)登壇を観て入社しました」という声を今も聞くことがあるので本当にありがたい機会を頂いたと感じている。サポート立ち上げの部分は達成でき、新しい刺激を求めたい、プロダクトにフォーカスしたいと思い製品開発チームに移った。
- Snowflakeはどうなったか：実は5年前「どう筋がいいのか」という解説セッションで登壇した。
- このときは「アーキテクチャがシンプルで拡張性がある」というのがいいですよって話をしていた。実際この5年間で様々なエリアでSnowflakeには機能が追加されてきた。
- そして今後もシンプルな機能を組み合わせて、新機能をどんどん展開していきます。
共催LT Forkwell & primeNumber
ここまででLT前半戦終了。間には「共催LT」という形でForkwell様、primeNumber様から同様(5分厳守)LTが執り行われました。
Forkwell様からはイベント企画運営を担当されている安江 晶野(やすえ まさや)さん。役者をやられていて、ちょうどこの日の翌日(2025/07/19)から舞台本番というタイミングでした。
primeNumber様からはNaotaka Nakaneさん。「TROCCO今昔」というタイトルでTROCCOのプロダクト変遷をダイジェストで解説されていました。結びにはConnect+という構想・展開についても紹介。
登壇資料：
(会場にはドリンクを提供するバーがありました。写真撮影にも快く応じてくださり、ありがとうございます！)
(こちらは会場風景。参加者の皆さんが映っているのでうっすらモザイクを掛けさせて頂いてます)
LT6: いま使っている技術スタックと、これからのこと
- 登壇者：岩崎 晃 氏(株式会社DataMarket CEO)
登壇資料(Zennの埋め込み形式に対応していなかったので画像リンクでスライドページに飛ぶ形にしました。このgammaってサービスお洒落で良いですね！)：
過去登壇したのは#4「データ分析基盤の障害対応事例LT祭り」、#23「Data orchestration特集」。
- データエンジニアとして今やっていること：最先端のデータエンジニア技術を活用した案件にいろいろ携わさせていただいている(今はまだ言えない)
- Dagster+の紹介：最新のデータオーケストレーションツール。Data Productの概念を中心に設計されている。強力な視覚化UIを提供していることが特徴で、今後Data ProductのUIデファクトはDagster+のようになると考えている。
- DataMesh：分散型データアーキテクチャの新しいパラダイム。データメッシュでは各ドメインチームが自らのデータに責任を持ち「データプロダクト」として他ドメインにサービスを提供。これで組織全体のデータ活用能力が向上。Data MeshとMCPの組み合わせは今後スタンダートとなる。
- DCR(Data Clean Room)：プライバシーを保護したデータ活用の新潮流。広告業界の導入例が多く、現在注目を浴びている。世界的にAI関連のセキュリティへの懸念が高まっている中、プライバシーテックはお金になる！
LT7: データエンジニアリングにおいて、4年前と変わったこと、変わらないこと
- 登壇者：田中 聡太郎 氏(株式会社AbemaTV / Development Headquarters / Data Enablingチームマネージャー)
過去登壇したのは#11「6社のデータエンジニアが振り返る2021」。
- ABEMAの「シャッフルアイランド」現在シーズン6第2話公開中、オススメです！是非観てみてください。
- 今日は4年前の登壇を経て、個人的に重要と思う「変わったこと・変わらないこと」について話します。
- 4年前は「データ基盤の三層構造」に纏わる話をした。データセットのレイヤリングとか、それぞれのレイヤーのルールみたいなところの話。
- 4年前と変わったこと、これはとにかく「生成AI」。生成AIの活用が浸透してきたことにより、以前ほど気にする必要がなくなってきた。前提が変わった感がある。生成AI「前提」でのデータ基盤を考えていく時代になった。
- 4年前と変わらない"大事なこと"。上2つは自明、残る3つも非常に大事だと考えている。
- 分析・活用したいデータが全部データレイクにあること
- 上記前提の上でのアクセスコントロールと難読化
- データセットのレイヤとルール
- セマンティックとデータ品質
- ログ/マスタ設計とデータ仕様ドキュメント(無から有を生み出すところ)
LT8: これまでのキャリア変遷
- 登壇者：山田 雄 氏(グーグルクラウドジャパン CustomerEngineer DataAnalyticsSpecialist)
過去登壇したのは#4「データ分析基盤の障害対応事例LT祭り」、#11「6社のデータエンジニアが振り返る2021」。
- SIerからキャリアをスタートし、10年のフリーランス期間を経て事業会社に入り、現在はGoogle Cloudに所属。
- 技術の出発点は組み込み系で、C/C++を使っていたが、Web開発やデータ領域へとスキルを広げていった。フリーランス時代にデータ関連の案件に関わり、HadoopやOSSの楽しさを知ってデータ領域を本格的に志向。BigQueryを中心に使うようになり、その技術の進化を身近で感じてきた。
- 勉強会や登壇への参加は30代からで、初参加時にコミュニティの魅力を知り、以後積極的に登壇。登壇を通じて人脈も広がり、大きな刺激と成長の機会を得ることができた。
- 2025/08/05〜06に「Google Cloud Next」開催、登壇予定。
(司会進行が鳴らす銅鑼の音に負けず、強い気持ちでトークを進める山田氏)
LT9: データ活用を組織に浸透させた先に何があるのか
- 登壇者：伊藤 徹郎 氏(Classi株式会社 プロダクト本部本部長)
登壇資料はこちら：
過去登壇は#3「分析基盤をうまく組織に浸透させる方法」、#9「企業規模別に見る、データエンジニア組織の作り方」。
- 自己紹介：書籍5冊ほど出しています。
- あれから早4年、どうなった？→採用がうまくいき、チームメンバーの循環が起こった。イベント登壇がきっかけで採用ができました！
- 社内でデータを活用することが当たり前に。社内では営業活動やCS活動にデータが当たり前に使われるようになっている。また、プロダクト開発でも施策の目標と実績を定量で確認できている。
- 最近はLLMプロダクトを使ったAI開発も盛んに。
- ...という形でデータで価値を出すことにフォーカスし続けて、気付いたら出世してました。
- データを組織に浸透させた先には...データ活用はHow、自社サービスの提供価値をいかに上げていくか、という普通の命題があった。
LT10: データ基盤の管理者からGoogle Cloud全体の管理者になっていた話
- 登壇者：塩崎 健弘 氏(株式会社ZOZO)
過去登壇は#1「Data Engineering Study #1」。
- 昨年(2024年)末は狂気に満ちたAdvent Calendarを書きました。生成AIで書いたんじゃないかって言われたこともあったけど全部手打ちで書いてます。(※下記ページ：ZOZO - Qiita Advent Calendar 2024 - Qiitaの『シリーズ3』のカレンダーが該当。)
- 過去登壇から5年、この間には色々ありました。ひたすらBigQueryにデータを集める日々。気づけば非開発部門も含む社員の約4割がBigQueryを使うようになりました。自分自身の担当領域に関して言えばデータ基盤の管理者からGoogle Cloud全体の管理者にもなりました。
- 管理業務は突然に：データ基盤構築を頑張った結果、Google Cloudに詳しい人と認識され、資産管理方針のもと管理者に任命された。プロアクティブなこと、予防的な活動なども行っている。
- 管理業務をするうえでもデータエンジニアの知見が活きている。
重大発表x3
以上でLTセッションは終了。懇親会の前にコミュニティから「重大発表」と称して幾つかのアナウンスがありました。
その1：ゆずたそさん勇退
(実は)イベントページ概要にも記載があった通り、今回の#30を以てゆずたそさんがレギュラーメンバーを卒業となりました。卒業に際してのコメントは下記動画アーカイブ1:32:38から観ることができます。
(ゆずたそさんのコメントを拝聴するの現地参加者の図)
その2：新アドバイザーチーム発足
「その1」のアナウンスを受ける形で、新たな「新アドバイザーチーム」の発足も合わせて発表がありました。
その3：Data Engineering StudyのSlackワークスペースが誕生
更には、コミュニティの更なる議論活性化が期待出来そうな「Slackワークスペース発足」もアナウンスされていました。
懇親会
重大発表3連発のあとは懇親会。過去登壇者が多数集う形となったため言わば「オールスター」感のあるとても賑やかな会となっていました。私も個人的にSNS上ででしかやり取りのなかった人、フォローして動向をウォッチしていた方々にはじめて物理(オフライン)でお会いできた、ご挨拶できたのでとても印象的な、あっという間の時間でした。
まとめ
というわけで、『Data Engineering Study #30』、節目の記念回となったイベントの現地参加レポートでした。動画アーカイブがあるので簡単に...と思いつつ色々な情報を足して行ったらあれよあれよと長くなってしまいました。皆さんの発表がとても面白く聞き入ってしまう内容だったので自然の流れだったのかも知れません。登壇者・関係者の皆様、主催・協力のForkwell様&primeNumber様、ありがとうございました！
(※そして司会進行、お疲れ様でした！)