果たして私はデータエンジニアなのか？

この記事はちゅらデータ Advent Calendar 2023の8日目の記事です。

私は果たしてデータエンジニアなんだろうか？

さて、普段CTOをやっていると、コードや資料のレビュー、その他組織の意思決定へ関与するなど、そんな仕事が増えてきます。
そうこうして師走になってみると、果たして一体自分がなにものなのか？
自分は今でもデータエンジニアでいられてるのかなど不安になってきます。

そんな時、このページ(Am I a Data Engineer)に出会いました。

ちょうどよかった、早速やってみました。

第1問：でかいデータで仕事してる？

• Q, でかいデータで仕事してる？（Do you work with large volumes of data?）
• A, はい、大量のデータを処理してるよ(Yes, I handle and process massive amounts of data regularly.)
• B, いいえ、小さいデータで仕事してるよ(Yes, I handle and process massive amounts of data regularly.)

うーん、わりとクソでかデータや大量テーブルが仕事中に出てくるな…
=>A

第2問：データパイプラインやETLの設計や構築やってる？

• Q, データパイプラインやETLの設計や構築やってる？(Do you design and build data pipelines or ETL processes?)
• A, はい、ETL用のデータパイプラインの設計も開発もメンテもやってるよ(Yes, I architect, develop, and maintain data pipelines for data extraction, transformation, and loading.)
• B, いいえ、データパイプラインの構築には関与してないよ(No, I don't have involvement in building data pipelines.)

うーん、やってるかな…
=>A

第3問：データの投入や統合に責任負ってる？

• Q, データの投入や統合に責任負ってる？(Are you responsible for data ingestion and integration?)
• A, はい、統合されたデータ環境なかで、いろんなデータソースからデータ収集や処理を管理してます(Yes, I manage the process of collecting data from various sources and integrating it into a unified data ecosystem.)
• B, いいえ、データ投入や統合の仕事はしてないです(No, I don't handle data ingestion or integration tasks.)

うーん、やってるなぁ…
=>A

第4問：分散システムやビッグデータ技術使って仕事してる？

• Q, 分散システムやビッグデータ技術使って仕事してる？(Do you work with distributed systems or big data technologies?)
• A, はい、巨大なデータをHadoopやSparkみたいな分散データベースで処理したり分析をやってます(Yes, I utilize technologies like Hadoop, Spark, or distributed databases for processing and analyzing large-scale data.)
• B, いいえ、分散システムやビッグデータ技術を使ってません(No, I don't work with distributed systems or big data technologies.)

うーん、さすがに昔よりは減ったけど、Sparkとか分散システムは楽しいよね
=>A

第5問：データモデリングやスキーマ設計に参加してる？

• Q, データモデリングやスキーマ設計に参加してる？(Are you involved in data modeling or schema design?)
• A, はい、データモデルやスキーマを効果的に蓄積したり、探したり、分析したりできるように、設計や最適化してます(Yes, I design and optimize data models and schemas for efficient storage, retrieval, and analysis.)
• B, いいえ、データモデリング活動には参加してないです(No, I don't participate in data modeling activities.)

これはよくあるな…
=>A

第6問：きれいで信用できるデータをデータサイエンティストや分析者へ提供することで協働してますか？

• Q, きれいで信用できるデータをデータサイエンティストや分析者へ提供することで協働してますか？(Do you collaborate with data scientists or analysts to provide them with clean and reliable data?)
• A, はい、データ駆動分析のためにデータ品質や一貫性、可用性に責任を持っています(Yes, I ensure data quality, consistency, and availability for data-driven analysis and reporting.)
• B, いいえ、データ準備のなかでデータサイエンティストやアナリストと協働してません(No, I don't collaborate with data scientists or analysts in data preparation.)

私はどっちかと言うとインフラ側多めで利用者側とのやり取りはあまりないんだよなぁ
=>B

第7問：データインフラやデータセットを管理・メンテしてますか？

• Q, データインフラやデータセットを管理・メンテしてますか？(Do you manage and maintain data infrastructure and databases?)
• A, はい、データベースの管理やパフォーマンスチューニング、インフラのマネジメントをやってます(Yes, I oversee database administration, performance tuning, and infrastructure management.
• B, いいえ、データインフラ関連の責任を持っていません（No, I don't have responsibilities related to data infrastructure maintenance.)

これはめっちゃやってますね
=>A

第8問：データガバナンスやコンプライアンスに参加してますか？

• Q, データガバナンスやコンプライアンスに参加してますか？(Are you involved in data governance and compliance?)
• A, はい、データガバナンスポリシーの作成や執行、データプライバシーの保証、当局の要求に答えてます(Yes, I establish and enforce data governance policies, ensure data privacy, and comply with regulatory requirements.)
• B, いいえ、データガバナンスやコンプライアンスの仕事は携わっていません(No, I don't handle data governance or compliance tasks.)

データガバナンス大事だよねぇ
=>A

第9問：リアルタイムやストリーミングのデータ処理をやってますか？

• Q, リアルタイムやストリーミングのデータ処理をやってますか？(Do you work with real-time or streaming data processing?)
• A, はい、リアルタイムやストリーミングなデータ処理や分析のシステム開発や管理をしてます(Yes, I develop and manage systems that process and analyze data in real time or streaming fashion.)
• B, いいえ、リアルタイムやストリーミングなデータ処理はしてません(No, I don't work with real-time or streaming data processing.)

最近やってないですね
=>B

第10問：データ品質のモニタリングやトラブルシュートに責任を持っていますか？

• Q, データ品質の監視やトラブルシュートに責任を持っていますか？(Are you responsible for data quality monitoring and troubleshooting?)
• A, はい、データ品質を監視したり、データ課題の調査、データ検証とエラーハンドリングのための計測を実装してます(Yes, I monitor data quality, investigate data issues, and implement measures for data validation and error handling.)
• B, いいえ、データ品質の監視やトラブルシュートには参加してません(No, I'm not involved in data quality monitoring or troubleshooting.)

任せることも増えたけど、やることもまだあるなぁ
=>A

結果

というわけけで、Aが8個でした。
Aの回答1つに付き1ポイントで、下記の評価に当てはめてみよう。

• 8-10 ポイント: おめでとうございます！あなたの仕事の責任はデータエンジニアのプラクティスに沿っています！(Congratulations! Your job responsibilities align with data engineering practices.)
• 5-7 ポイント: あなたの仕事にはデータエンジニアリングの側面が含まれていますが、もっとデータエンジニアリングのテクニックはもっとあります。(You have some aspects of data engineering in your role, but there might be room to explore more data engineering techniques.)
• 0-4 ポイント: あなたの今の仕事はデータエンジニアリングの責任領域にたぶん参加してません。データエンジニアのスキルと経験を伸ばす機会を探しましょう。(Your current role may not involve significant data engineering responsibilities. Consider exploring opportunities to expand your data engineering skills and experience.)

お、データエンジニアを名乗って良さそうだぞ！良かった！

いかがでしたか？みなさんも自分がデータエンジニアなのか、迷うことが多いと思うので、この一年を振り返って、自分に問いかけてみてはいかがでしょう？