2023 年のまとめ - Snowflakeコミュニティ活動、転職、データプラットフォームエンジニアリングなど
知っている人が 2023 年のまとめをブログにまとめていたので、私もやります！
2 月 - 2023 年も Snowflake Data Superhero に選抜された
2022 年から引き続き、 2023 年も Snowflake Data Superhero に選抜されました。シンガポールからただ一人の選定です。 Snowflake Data Superhero は世界中の Snowflake ユーザコミュニティから最もアクティブなユーザコミュニティリーダーを選抜するプログラムです。
しかし、 Snowflake 関係のブログをたくさん書いた 2022 年 とは打って変わって、業務では他チームのスキル不足を補うため、 Snowflake とは直接は関係ない、社内のマイクロサービスも含んだクラウドインフラや DevOps に取り組む立場になったため、残念ながら 2023 年は少し Snowflake がらみのブログを書く機会は減りました。
6月 - Singapore Snowflake User Group でコミュニティリーダーに選抜された
データクラウドサービス Snowflake のユーザグループ Singapore 支部で、初代のコミュニティリーダーが選抜され、私も初代メンバーの一人として選抜されました。6 月には初のコミュニティリーダー主催でのイベントを開催しました。
このコミュニティリーダーは、 Snowflake 社のアカウントマネジャーや営業の方が、既存顧客の中から推薦を出して選出されたメンバーで、主にコミュニティイベントの企画を担当します。日程調整や会場の確保など実際のコミュニティイベントのオペレーションは Snowflake 社のマーケティングの方が代行されている様ですが、おそらくユーザ視点での企画がないとユーザコミュニティイベントがユーザコミュニティらしくならないため、ユーザによる企画立案を促す目的で発足されました。
なお、これからコミュニティを盛り上げるところでしたが、後述の 10 月に Snowflake ユーザ企業を退職したので、 Snowflake ユーザコミュニティのリーダーをやるのもおかしいと思い、一旦、 コミュニティーリーダーからは卒業させていただくことになりました。なお、同じ理由で 2024 年の Snowflake Data Superhero （ Snowflake US 本社の Community Manager が運営するプログラム）にも応募はしませんでした。
10月 - 3 年半勤めた保険テック企業の Singlife 社を退職した
Singlife に在籍したのは 3 年半という短い期間ですが、スタートアップの状態で小さいシステムを一人で作るという状況から、合併を通じて一気に中堅規模の会社に成長した状態で、オンプレのマイグレプロジェクトのアーキテクトをやる状況に変わった経験は、エンジニアとしての経験の幅を広げる意味で本当に有意義なものだったと思います。
2020 年の 4 月にコロナ禍で経営不信に陥った当時の勤務先からレイオフされ、当時は合併前でレイトステージなスタートアップだった保険企業の Singlife に初のデータエンジニアとして入社しました。当時のレイオフと再就職の様子はこちらにも書いていますので、興味ある方はご覧ください。
入社した当時の Singlife は、ちょうど初のモバイルプロダクトをローンチし、動画広告もバンバン出してイケイケだったものの、まだデータ分析基盤は一才存在しない状態でした。そこで私が最初のデータエンジニアとして入社し、 AWS と Snowflake を利用したデータ分析基盤をゼロベースで作れ、主要なダッシュボードが構築され、データアナリストが気軽にアドホック分析できる体制を構築できたことは自分のキャリアとして大きな進展となりました。
なお、 2022 年の Data Driver of the Year にも選ばれています。
その後、英系保険企業 Aviva のシンガポール事業であり、シンガポールの保険業界では中堅規模な Aviva Singapore との合併が決まりました。旧 Singlife で構築したクラウドベースのデータ分析基盤を軸にテックスタックを決めることが決まり、旧 Aviva サイドからのオンプレシステムや DB などを AWS や Snowflake にクラウド移行するプロジェクトで、クラウド側のアーキテクトとして主要プロジェクトを完遂できました。
この後、中期計画が決まり、旧 Singlife の創業メンバーが退職し始め、自分のキャリアを考え始めたところ、新しい体制がスタートしたことで企業文化が大きく変わった点、また新しいオペレーションモデルに変わっていく中で会社の中での自分の位置付けを明確にすることができなかった点などがきっかけとなり、次のキャリアに進むため、退職することになりました。
11月 Data Platform Architect として家電メーカー Dyson に入社した
転職活動で様々な企業のポジションに応募する中、唯一オファーをいただけたのが家電メーカーの Dyson でした。
Dyson は Global HQ を UK から Singapore のSt. James Power Station 跡地のオフィスに移したのが 2022 年 3 月。
Singapore 、 Philippines と UK での大型投資を 2023 年 5 月に発表し、ちょうど Singapore で大量に採用し始めたタイミングと自分が転職活動を始めたタイミングが重なっていたようでした。
元々は UK オフイス主幹で東欧のベンダーの支援を受けてデータ分析基盤が開発され、運用されていたところ、管轄をシンガポールのグローバル HQ に移管するにあたって、次世代データ分析基盤構築をリードするアーキテクトを募集していた様でした。規模は全然違うものの、ちょうど Singlife でリードエンジニアとしてプラットフォーム構築をやった経験があって、ハンズオンなところが評価され、採用に至った様でした。
現在は旧来型の中央集権型のデータ分析基盤と組織から分散型の基盤と組織に移行中であり、自分は主にプラットフォームエンジニアリングの方の技術的な意思決定と構築に専念しています。
システム面は、ちょうど世間で注目を浴びつつある Platform Engineering のデータ版に相当する取り組みを行なっています。要は、よりビジネスドメインに近い場所でデータやパイプラインを整備するデータエンジニアやデータアナリストの認知負荷を減らし、より高い生産性で仕事できるように足回りの基盤を整備しています。
組織面は Team Topologies を意識した形で組織改革も行われています。自分のチームはもちろん Team Topologies でいうところの Platform Team です。
データはプロダクトであるという考えのもと、データプロダクトマネジャーを中心に Team Topologies でいうところの Stream-aligned Team が自分でデータプロダクトを構築し、維持管理できるための仕組みを Data Platform として検討しています。
なお、プラットフォームもプラットフォームユーザを顧客とするプロダクトであり、プロダクトマネジメントが重要とのコメントを支援いただいているコンサルの方からいただき、私とデータプラットフォームのプロダクトマネジャーがいるものの、プロダクトマネジメントに関係するものとして理解しておくべきだろうと関係書籍を読み始めています。
今までの会社での仕事とは発想が全く違い、新しく勉強することが多い毎日です。
2024 年の抱負
世間の Platform Engineering の話は、 Web や モバイル、マイクロサービスの世界を前提とした話が多く、データ業界から見れば、一部は技術スタックやアプローチが共通する部分はあるものの、少し文脈が違うなと思うことが多いです。データ業界で Platform Engineering を行うための技術的な仕組み、アプローチ、組織運営はどうあるべきかについて、本や記事を読んだり、実務で考えたことをブログに書いていこうと思います。
では、最後になりましたが、コミュニティを通じてやりとりさせていただいた皆様には大変お世話になりました。2024 年も皆様にとって良い年になりますようお祈り申し上げます。
Discussion