👻

Data Engineering Study #9「企業規模別に見る、データエンジニア組織の作り方」

2021/08/04に公開

概要

2021/08/03に開催された下記勉強会のメモです
https://forkwell.connpass.com/event/214982/

https://www.youtube.com/watch?v=PCn1D-vPa6g

セッション

Classiのデータ組織の歩み

  • 200名規模でエンジニア80名程度
    • データエンジニア4名
  • 全社の目標にデータ活用が入っている
  • データ分析基盤の名前
    • ソクラテス
  • ツールごとにダッシュボード作成、週次で確認
    • Tableau/Redash/BigQuery(ソクラテス)
  • 非エンジニア向け勉強会の実施
  • Uniposを活用した取り組み
    • 社員同士で感謝を送るサービス
    • ソクラテスを擬人化して褒める
      • データ利用を促進する仕組みを作った

https://tech.classi.jp/entry/2021/05/31/120000
https://tech.classi.jp/entry/2021/02/05/121144

データ分析と私たち

  • 300名規模
    • SREは5~6人の部署
      • 一般的なSREの業務とデータ分析部分も担当
  • 学習用でとりあえず作ったものが社内で公式化
  • redashを導入したが複雑化、全体が把握できなくなった
  • 可視化->問題点の洗い出し->安定化
    • データベースプロキシで動的マスキング
      • Datasunrise->trocco
  • 改善についてはボトムアップで進めた

https://qiita.com/t_odash/items/3fbb3f0781c5bca0fe64
https://qiita.com/t_odash/items/8d28afd2ffd1e5929b99

LINEのデータ分析組織の紹介

  • 1000人以上規模
    • データ分析組織全体で200名いかない程度
      • データ基盤の運用と高度化をしているチームが70名程度
      • その他チームは各30名程度
  • SLAなどどうしているか?
    • ベストエフォートでやってる
    • 明示的なSLAは置いていない
    • これから

https://engineering.linecorp.com/ja/blog/data-infrastructure-ingestion-pipeline/

Discussion