データエンジニアが初めてダッシュボードを作成して気づいたこと
1. はじめに
こんにちは。株式会社GENDAの MLOps エンジニア/データエンジニアの uma-chan です。
この記事は GENDA Advent Calendar 2024 23日目の記事です。
データエンジニア3年目にして初めてダッシュボードを作成する機会を得たので時系列順に思ったことを書いていきます。
2. 今回のダッシュボード作成の前提
2.1. 要望
あるGENDAグループ企業の担当者が毎日 Excel で KPI 算出や社内に向けたサマリ配信を行っており、ダッシュボード導入によりこの作業を自動化していこうという要望がありました。所謂 DX の一環です。
2.2. 技術要素
- ダッシュボードは Databricks で作成する
- その他要素は主題ではないので割愛する
3. ダッシュボード作成前に考えていたこと
3.1. なぜ今までダッシュボード作成をしてこなかったのか
3.1.1. データエンジニアはデータ基盤タスクに追われている
ダッシュボードは SQL が理解できれば作成できますが、データ基盤に関するタスクはデータエンジニアでないと対応できません。そしてデータエンジニアは人員不足であることが多いので基本的にデータエンジニアはデータ基盤に張り付くことになります。
私はこのような経験をしてきましたが実際多くの企業で普遍的に起きていることではないでしょうか。
3.1.2. そもそもダッシュボードを新規作成する機会が少ない
一旦主要なダッシュボードを作成してしまえば作業が落ち着いてしまうことが多く、ダッシュボードを新規作成する機会を継続的にもてる方は少ないと思います。
私の経験してきた中では新しくダッシュボードが作られる場面は少なかったです。
3.2. 業務に対する心境の変化
これまではエンジニアとしてこの先生きのこるにはできるだけ技術を身につけていくべき、という強迫観念に突き動かされていたので技術的に新規性が少ないダッシュボード作成には積極的に手を挙げようとはあまり思っていませんでした。
ただ、データエンジニアが自分しかいない環境を経験して、自分でもやれば何とかなるという自己効力感をもてたことでこの強迫観念に関しては一定程度薄れたと思います。やればできるのであれば焦る必要もないという気持ちをもてるようになりました。
そして社会人として働く自分の実際のモチベーションとしては、目の前の同僚の役に立つことをしたい、あるいは苦労して構築運用がなされているデータ基盤の価値を高めたい、といった思いが強いことを自覚するようになりました。ダッシュボード作成はこのような自分の特性に結構マッチしたタスクだと思います。
このような経緯があり今回のダッシュボード作成タスクに手を挙げて取り組むことになりました。
4. ダッシュボード作成中に考えていること
実は自分が携わっているダッシュボードは現在作成中です。作成して利用いただいた後の状況は今後追いかけていきます。
4.1. Databricks 上でのダッシュボード作成 Tips
本記事中唯一の技術要素です。
いずれも特に Databricks 特有のものではありませんが、使ってみて良いなと思った機能を一応メモしておきます。
- パラメータ
- ドロップダウンリストで選択した値やフォームに入力した値をパラメータ経由でクエリに組み込むことができます。
- ピボットテーブル
- サクッと集計テーブルを作成できます。Excel やスプレッドシートで活用してたので特に抵抗なく使えました。
- SQL フォーマット
- 残念ながらダッシュボード内では利用できませんが Databricks で SQL フォーマットが利用できるので時々利用しています。
- ノートブックのセルでも利用できます。私は使い捨てのクエリをノートブックで管理してるので助かります。
- ちょっとクセの強いフォーマットをしてくるので賛否両論あると思います。
4.2. GENDAにおけるダッシュボード作成の感想
今回のダッシュボード作成作業はGENDA本社メンバーと当該グループ企業メンバーとで取り組んでいます。全員当事者意識をもっているため、本当に意味のあるものを充実感をもって作れる環境であると感じました。
またデータチームにノウハウが蓄積していくため新たな企業をグループに迎え入れる際にはもっとスムーズに一連の作業を進めていけそうです。
ダッシュボードを一気に新規作成する機会もGENDAの成長と共に継続的に訪れるのではないかと思います。
4.3. データエンジニアはダッシュボードを作るべきか
データ利用者の立場に立った考え方ができるようになるので、データ基盤により磨きをかけて使いやすくしようと思える効果はありました。
またデータ自体に対する知識を深めていけるのもダッシュボード作成の良さで、さらなるデータ活用のための過程と捉えることもできます。私の場合はデータサイエンス系業務にも関わっているのでデータの知識を深めることはデータ分析や機械学習に活かすことのできる経験になっています。
とはいえデータエンジニアリングスキルをもつ人間がデータ基盤タスクではなくデータ活用タスクに時間を投入しても許される環境でないと取り組むのは難しいので、ある種贅沢なことかもしれません。
5. おわりに
結局やってみたいことに取り組んで納得感を得ることは良いことですね。今後もできるだけそうしたいです。
Discussion