🦔

分析の前に、データの土壌を疑う(4)〜分析は「正しさ」だけでは回らない ── データ分析とコストの現実的な折り合い方

に公開

分析の前に、データの土壌を疑う(4)

分析は「正しさ」だけでは回らない ── データ分析とコストの現実的な折り合い方


この連載では、実務でデータ分析基盤を立ち上げる中で、
「分析を始める前に何が必要だったのか」を、
実際の試行錯誤を交えて書いています。

筆者は、プロダクトのログを扱いながら、
分析・データ基盤の整備を行っている実務担当者です。

第3回までで、ログデータは「集まっている」だけでは分析に使えず、

  • 重複レコード
  • 再送ログの判定ロジック
  • 機種情報の整理

といった問題を、一つずつ確認してきました。

ここまで整理が進むと、次に避けて通れない問いが出てきます。

このデータ分析を、どのくらいのコスト感で、どう回し続けるのか?

データの正しさを追いかけるだけでは、分析は現場で回りません。
第4回では、分析とコストをどう考え、どこで割り切ったかを整理します。


1. 数十億レコードを、本当にすべて使うのか?

今回扱っているログは、累積すると1年間で数十億レコード規模になります。

最初に浮かんだ選択肢はシンプルでした。

  • 全レコードを使って分析する
  • サンプリングしたデータで分析する

ただ、この時点ではどちらも選べませんでした。
理由は単純で、分析に「いくらかかるのか」が分からなかったからです。

サンプリングが妥当かどうかを議論するにも、

  • フルデータで処理した場合のコスト
  • 実行時間
  • 運用として現実的かどうか

このあたりの規模感が見えていないと、議論が進まない。

そこで最初に決めたのは、

まずは数十億レコードを対象にして、コストと実行時間を実測する

という判断でした。

「最初から正しいやり方」を選んだというより、
議論を前に進めるための判断に近かったと思います。


2. 開発フェーズと運用フェーズは、同じ前提で考えない

次に整理したのが、
開発フェーズと運用フェーズを、同じコスト感で考えないという前提です。

開発フェーズで優先したこと

  • とにかく結果を早く見る
  • 仮説が成立しているかを確認する
  • 多少AWSのコストをかけても、スピードを優先する

具体的には、

  • 1日分
  • 1週間分
  • 1ヶ月分
  • 3ヶ月分
  • 1年分

という順でデータセットを拡張し、 十分検証したうえで、時間がかかる
1年分の更新は土日にまとめて実行する、と言う方法で開発をしました。

運用フェーズで考えること

一方で、実運用では、

  • 毎日回す処理のコストは抑えたい
  • 実行時間も一定以内に収めたい

という制約が出てきます。

この2のフェーズは、同時には最適化できません。

ここで意識していたのは、

無駄にAWSの費用を使う意味はないが、
コストを抑えて開発が遅くなることにも意味はない

というバランスでした。


3. ビジネス側の要望と、分析側の判断軸

この段階で分かったのは、
ビジネス側には「フルかサンプリングか」を判断する基準がないということでした。

実際に出てくる要望は、だいたい次の2つに集約されます。

  • 同じ結果が得られるなら、安い方がいい
  • 色々な分析で実際のユーザー数が見たい

どちらももっともですが、

  • どこまでの正確さが必要なのか
  • いくらまでなら許容できるのか

といった判断軸は、自然には出てきません。

そのため分析側としては、

  • 月に数万円なのか
  • 数十万円なのか

といったコストのレンジ感を提示する必要がありました。

フルデータかサンプリングか、という議論は、
コスト感を共有して初めて成立すると感じています。


4. ロジックをシンプルにして「正しさ」の基準を作る

コストの話と同時に意識したのが、
最初から複雑なロジックを入れないということです。

データ分析基板の開発の基本方針は次の順序でした。

  1. 日付によるパーティショニング
  2. 微小サイズのログファイルのコンパクション
  3. Sparkによる並列処理

この順番にした理由は、

  • 並列処理は、データ品質に影響が出る可能性がある
  • まずは「この結果を正とする」ベースラインを作りたかった

からです。

高度な最適化を先に入れるより、
判断の拠り所になる結果を先に作ることを優先しました。


5. 実行時間とコストを「測れる状態」にする

この段階での目的は、最適化ではありません。

  • 実行時間
  • コスト
  • 対象データ量

これらを毎回把握できる状態を作ることでした。

例えば、

  • コストを抑えた場合、どのくらい時間がかかるのか
  • 1日分のデータセットは、1日以内に作る必要があるのか
  • 毎日モニタリングしたい指標は、本当に存在するのか

こうした問いは、
測れる状態になって初めて考えられるものです。

分析の価値がまだ見えていない段階では、
無理に高速化や最適化を進めない、という割り切りも入れました。


6. おわりに:品質・時間・コストは「段階の話」

ここまで整理してきた結論は、シンプルです。

  • 初期段階は、品質重視
  • 理解が進んだら、実行時間とコストのバランスを取る
  • 品質の確認方法が確立すると、選択肢が増える

最初から最適解を狙わない。
まずは判断できる材料を揃える。

第4回は、そのための考え方と割り切りを整理した回になりました。

Discussion