❄️

2022年にデータ界隈で私がしてきたこと

菱沼 雄太2022/12/24に公開

この記事は ちゅらデータ Advent Calendar 2022 の2日目の記事です。

筆者は誰?

私は2020年4月からちゅらデータの CTO として、主に日本の顧客向けにデータ基盤の構築を行ってきたエンジニアです。
好きなデータウェアハウスは Snowflake で、最近は Snowflake 7 : その他のDW 3 くらいの比率で開発してる気がします。
2021年には Snowflake から Data Hero Of The Year に選ばれたり、2022年は Data Superhero に選ばれたりと、データ界隈では結構頑張ったなという感じです。

注意

この記事は私の活動をサマリしたもので、あまり一般の人からは興味がわかない内容だと思います。
おそらく、ふーんって感じなので、このあたりでタブを閉じていただいても一向に構わないぜ。

活動方針

2021年は Snowflake の良さを発信することで、世の中のデータ界隈を良くしようと思い、活動の軸足を Snowflake においていました。
おかげさまで、 SnowVillage(Snowflakeの日本コミュニティ) は YouTube チャンネルや Slack で大変盛り上がりました。

2022年は Snowflake となにかを組み合わせて、世の中のデータ界隈をより良くしようと思いました。
そのため、 Snowflake +α で活動してきました。

2022年の活動

2022年にデータ界隈向けに発信してきたことを、時系列で並べてみました。

並べてみると、データ系のこと色々してますね。
ここからはトピック的にいくつか取り上げてみます。

Data Vault

Snowflake は単なるデータウェアハウスで、それだけではデータ利活用をする基盤としては足りていません。
データの利活用をすすめるには、データウェアハウスの中をどうするかが大きなポイントになります。
そのためのデータモデリング手法はいくつかあります。
有名なものは正規化をすすめるリレーショナルモデリング、スタースキーマー化するディメンショナルモデリングなです。
でもさらに一歩進めたモデリングテクニックを日本にもっと広げたいなと思いました。

そうだ! Data Vaultだ!

Data Vault は2000年くらいに現れた比較的新しいモデリングメソッドです。
それがさらに2010年くらいに Data Vault 2.0 になって、近代化されました。

そんな Data Vault については下記のような活動をしました。

そんなこんなで、世の中では Data Vault を試している人が増えてきているのではないでしょうか?
来年はデメリットや適用するべきケースなど、 Data Vault についてさらに発展的な内容を紹介していければと思っています。

モダンデータスタック

Snowflake はあくまでもデータウェアハウスで、データの利活用をすすめるには他のシステムとの連携が必要です。
データ基盤のエコシステムはデータウェアハウスを中心に多くの SaaS や OSS があります。
そこで私はそれらを同時に提案していくことが、データ界隈をより良い方向に進めるだろうなと思いました。
以前から盛り上がっていたモダンデータスタックの話を掘り返して、色んな人に伝えることにしました。

dbt

こんにち、データエンジニアが習得するべき技術No.1は間違いなく dbt です。
データ界隈をもっと良くするために dbt を日本に紹介しようと思いました。

dbt は間違いなく今後も発展していく技術テーマで、競合の Dataform と合わせて注目していきたいですね。

まとめ

正直、体は一つしかないので、仕事をしながらこういう登壇活動や発信活動をしてると、なかなかに大変です。
こういう活動をしていた影響で、滞ってる他のやりたいこともたくさんあります。
とは言え今はこれが楽しい時期でもあり、なかなか困ったものです。

2023年もいろんなことをやれたらと思っていますので、もし一緒にやろうぜ!みたいな人がいましたら、ぜひお声がけください。
また、さすがに2023年はVTuber活動もちゃんとやりたいのですが、もろもろ体が足りないので、動画や企画やら細かいことやってくれる奇特な人がいたらお声がけください。(お礼はします)

また、最後に宣伝ですが、ちゅらデータはたくさんデータエンジニアを採用していっています。
私と一緒に働きたい人をは、ご経歴問わず、ご年齢問わずお声がけいただけると嬉しいです。
TwitterなどでDMお待ちしてます〜。

Snowflake Data Heroes

Snowlfake データクラウドのユーザ会 SnowVillage のメンバーで運営しています。 https://www.snowflake.com/ja/

Discussion

ログインするとコメントできます