前書き・おことわり
この記事は NE株式会社のアドベントカレンダー 4日目の記事です。
データエンジニアとして働くことを考えたことはありますか? NE株式会社には「元ソフトウェアエンジニア・現データエンジニア」というメンバーが二人います。彼らの持つキャリア観がどのようなものであるのか、利用している技術についての変遷がどういったものか、チームでの働き方についても聞いてみました。
聞き手はデータ事業推進部マネージャーの三原でお送りします。
話し手について
いずれもインタビュー時点での情報です
甲斐 愛佳
NE株式会社 データ事業推進部所属。
新卒入社後、Webアプリケーションエンジニアとして「ネクストエンジン」の開発に従事。その経験を活かし、事業全体のデジタルマーケティング支援、分析、カスタマーサクセスの全体設計・施策推進など、幅広く担当し、現在はネクストエンジンのデータ基盤構築運用を主に担当。
変換がいつも解散になる
熱田 亮
NE株式会社 データ事業推進部所属。
2020年11月に中途入社。ソフトウェアエンジニアとして、フロントエンド、バックエンド、SRE、そしてデータエンジニアと幅広く対応。データ基盤の移行・構築の経験を「300 万テーブルのデータ流通を支えるエンジニアリング」と題してGoogle Cloud主催のイベントにも登壇。
Slackだと気がつかないがピンボケしてる
ソフトウェアエンジニアからデータエンジニアへ ── 転身した二人に聞く
三原： 本日はお二人のこれまでのキャリアや、データエンジニアへの転身について伺っていきます。まず、ソフトウェアエンジニア時代はどんな業務をされていましたか？
甲斐： 自社システムの開発を担当していました。メンバーとして開発に携わりながら、PLも経験しましたね。
熱田： 僕は前職も含めると結構幅広くて、フロントエンド、バックエンド、SRE、そしてデータエンジニアとキャリアを積んできました。具体的には、PHP/Laravelで電力系システムの開発をしたり、Elixirでライブコマースの機能開発をしたり。SREとしてはAWSとTerraformを使ったインフラの保守運用もやっていました。
データエンジニアを目指したきっかけは？
甲斐： 実は最初からデータエンジニアを目指していたわけではないんです。エンジニアとして仕事をする中で、データの使われ方に興味を持って、その業務にシフトしていったら、気づいたらデータエンジニアになっていた、という感覚です。
熱田： 僕の場合は、ちょうど退職を考えていた時期に三原さんに声をかけてもらったんです。領域を広げることは価値があるなと。スキルって「掛け算」になると思っていて、データ領域に進むことで自分の市場価値も上がるだろうと考えて決めました。
ポジションチェンジに対する不安や迷いは？
甲斐： 不安はなかったですね。新しい領域へのチャレンジではありますけど、エンジニアとしての武器は使える前提だったので、ワクワクの方が勝ちました。
熱田： 僕も迷いや不安は特になかったです。社内での領域変更であったこともあり、転職と比べてもハードルは低かったですし、「とりあえずやってみよう」という気持ちでしたね。
実際に業務はどのように変わりましたか？
甲斐： ソフトウェアエンジニア時代はプロダクトに対して思考して、手を動かす時間がメインでした。データエンジニアになってからは、社内のステークホルダーと話をしながら進めることが多くなりましたね。事業や他の人たちの仕事に目を向ける時間が増えて、純粋に手を動かす時間はコンパクトになった印象です。
熱田： データエンジニアって横断部署なので、「社内営業的」な立ち位置を意識するようになりました。データ基盤を社内に広めていく役割というか。部署内だけじゃなくて、より広くチームや組織を意識して動くようになりましたね。
技術面ではどんな変化がありましたか？
甲斐： 業務の中心がSQLをどうするかに移りました。パフォーマンスを考えたり、複雑なデータ取得をパズルみたいに解決していくのが面白いです。
熱田： 最初に衝撃を受けたのは、SQLが1000行くらいになることがあるんですよ。データ分析の現場では珍しくない。あと、BigQueryがDremelという仕組みで処理をツリー構造で分解して並列処理するんですけど、その仕組みを知ったときは感銘を受けました。
甲斐： 周辺ツールだとdbtが面白いですね。クエリを使ってパイプラインを構築できて、標準機能で「1日だけ巻き戻す」みたいなことができる。新しい世界観を感じています。
キャッチアップのおすすめは？
三原： 過去の経験などからどんなキャッチアップをしてきましたか？ 特に、もし今からデータエンジニアを目指すとした場合に、おすすめの学習方法があれば教えてください。
甲斐：データマネジメントやデータモデリングの書籍の充実は進んでいるので、そういった書籍を読んでおくのがおすすめです。データマネジメントが30分でわかる本などは初学者でも読みやすいと思います。また、事例も増えていることからデータ関連のセミナーへの参加や、手元で実際試して学習することもおすすめです。
熱田：ソフトスキル的な観点も重要なので、目的、ビジネス理解、改善活動といった部分について学んでおく必要性はあると感じます。抽象的な話なので難しく感じるかもしれませんが、イシューからはじめよで解説されているような内容が重要です。
ソフトウェアエンジニアとデータエンジニアで共通するスキルは？
甲斐： 基本的なエンジニアリングやプロダクト開発の考え方、GitHubを使ったチーム開発のプロセスは共通していますね。データとの親和性を考えるとRDBのチューニングや、プロダクト内でのクエリの経験はそのまま延長として活かせます。
熱田： 特に設計力は重要だと思います。ソフトウェアエンジニア時代にクラス構造やパッケージ構成を気にしていたスキルが、テーブル管理やデータセットの切り方にそのまま応用できるんです。
逆に、新たに必要になったスキルは？
甲斐： ETLやパフォーマンスに対する理解ですね。あとは、向き合う相手がプロダクトの利用者から事業側に変わったので、その思考の切り替えが必要でした。
熱田： ソフトスキル的な側面が非常に重要だと感じています。目的ドリブンで動くこと、PDCAを回すこと、そして部署横断という性質上、他者に対するリスペクトが特に大事です。ソフトウェアエンジニア時代は技術力だけでも成果が出せましたけど、データ領域ではそうはいかない。だからこそソフトスキルの重要性に気づきやすくなりました。
データエンジニアとしてのやりがいを教えてください。
甲斐： データを使って事業貢献ができる点ですね。データが施策に反映されて、実際に事業数値が向上するのを見ると嬉しいです。
熱田： 年間流通額1.2兆円を超える規模のデータ基盤を、少数精鋭で管理しているんです。複雑な集計を高速化したり自動化したりするのは純粋に面白い。
甲斐： データって溜まっているだけだとコストでしかないんですよね。それをいかに価値に変えるか。そこにデータエンジニアの影響力の広さと深さを感じます。
熱田： まさにそうですね。
ソフトウェアエンジニアからデータエンジニアになりたい人へアドバイスをお願いします。
甲斐： 「やってみよう」ですね。エンジニアのバックグラウンドがあれば、アナリスト系から入る人よりもアドバンテージがあります。
熱田： 失敗を恐れないことですね。どんどん失敗した方が課題を感じられるし、自動的に成長できます。失敗することをおすすめします。
どんな人がデータエンジニアに向いていると思いますか？
甲斐： 安定志向で慎重に進めたい人には合わないかもしれません。特に弊社のデータの運用開発の現場では、アグレッシブに挑戦できる人、成長意欲がある人、自走力がある人が向いていると思います。新しい技術要素を取り入れたりしながらも、本番運用の品質を実現するために、求められるものは多いと思います。
熱田： 唯一絶対の正解を求めるタイプの人よりも、スピード感を持って不確実な情報から確からしいものを見つけ出して、PDCAを繰り返し品質を高めるようなタイプの人が適していますね。
甲斐： そこは完全に同意です。
最後に、今のチームの魅力を教えてください。
甲斐： メンバー全員がお互いにリスペクトを持っていて、高いプロ意識で仕事に取り組んでいます。理想のチームだと思っています。
熱田： 価値観を押し付けてくる人がいないんですよね。お互いをリスペクトしながら業務を進められるから、チーム連携がすごくスムーズです。
甲斐： バックグラウンドや強みがメンバーごとに違うので、それぞれの知見を融合させられるのも魅力ですね。
熱田： あと、三原さんの前で言うのもあれですけど（笑）、メンバーの成長や働きやすさ、キャリア構築を考えてくれるマネジメントがありがたいです。面白い仕事を任せてもらえたり、作業しやすい環境を整えてもらえたりするのは大きなメリットですね。
甲斐： みんなが"上司"への信頼を軸にして、自分たちで判断して行動できている状態は、まさに"自己組織化"が進んでいるチームと言えるのではないでしょうか！
おわりに
データエンジニアというキャリアのあり方は、まだまだ確立していないように思います。だからこそ、チャレンジする、自ら切り開く、そんなマインドが必要なのではないかと聞いていて思いました。
We are hiring!
こんな環境とメンバーで一緒に働きたいと思ったそこのあなた、是非NEで仕事をしてみませんか。まだまだ課題もありますし、やりたいこと、やらねばならないことはたくさんあります。なんとこの記事の公開日と同日公開されたデータエンジニアの求人が、あなたを待っているかもしれません。気になった方はカジュアルに話をしてみることもできます！是非詳細を確認してください。
「N」が作れないやつが二人いる
上記の募集は記事掲載日に公開したての情報であり、以下の固定掲載の募集には反映に時間がかかります。データエンジニアの募集詳細・応募については上記のリンクよりご確認ください。
NE株式会社のエンジニアを中心に更新していくPublicationです。 NEでは、「コマースに熱狂を。」をパーパスに掲げ、ECやその周辺領域の事業に取り組んでいます。 Homepage: ne-inc.jp/
Discussion