データエンジニアリングに興味を持った理由

本記事の目的

自分がデータエンジニアリングに軸を置きたいと思った理由をこの記事にまとめています。
データ職種の世界に魅力を感じてくれる人が増えれば幸いです。

なぜデータアナリストになったのか

元々は物理シミュレーションの解析システムを作っていました。自分がいた業界では顧客がデータを使うためには監査で不適合にならないことが必要でした。不適合かどうかの基準は「契約書（仕様）通りに解析データが作成されていること」となっており、自分たちにできることは仕様通り（顧客が指定したinput通り）にデータを作成することのみで意思決定への寄与を感じませんでした。自分のビジネスインパクトを増やしたいと思い、未経験でしたが、今の会社に転職させていただきました。
元々いた会社は福利厚生が充実しており、給料も高く、賢い人も多くて学ぶことが多かったので今でも非常に感謝しております。

なぜデータエンジニアリングに興味があるのか

データアナリストの仕事は大変ですがかなり楽しいです。顧客の課題に対して仮説を立てて、解決方法まで提案するという仕事はとてもやりがいがあります。ですがデータアナリストをしていると以下のようなデータ自体の問題に直面しました。

• ビジネス的に絶対に必要なカラムがない。
• 必要なデータセットが別組織から送られてこない。
• そもそも市場規模の大半を占めるデータが取得できない。
• 沢山クエリ書くのしんどい。日付やカテゴリ名のハードコーティングでミスが頻発する。

アナリティクスそのものよりもそのための仕組み作り自体に興味を持ちました。
アナリストの経験も生かして、そもそもの取得データの企画、データパイプラインの構築、使いやすいデータベースの構築といったスキルを付けてビジネスへの貢献度を上げれると良いなと感じています。