分析の前に、データの土壌を疑う(4)〜分析は「正しさ」だけでは回らない ── データ分析とコストの現実的な折り合い方
分析の前に、データの土壌を疑う(4)
分析は「正しさ」だけでは回らない ── データ分析とコストの現実的な折り合い方
この連載では、実務でデータ分析基盤を立ち上げる中で、
「分析を始める前に何が必要だったのか」を、
実際の試行錯誤を交えて書いています。
筆者は、プロダクトのログを扱いながら、
分析・データ基盤の整備を行っている実務担当者です。
第3回までで、ログデータは「集まっている」だけでは分析に使えず、
- 重複レコード
- 再送ログの判定ロジック
- 機種情報の整理
といった問題を、一つずつ確認してきました。
ここまで整理が進むと、次に避けて通れない問いが出てきます。
このデータ分析を、どのくらいのコスト感で、どう回し続けるのか?
データの正しさを追いかけるだけでは、分析は現場で回りません。
第4回では、分析とコストをどう考え、どこで割り切ったかを整理します。
1. 数十億レコードを、本当にすべて使うのか?
今回扱っているログは、累積すると1年間で数十億レコード規模になります。
最初に浮かんだ選択肢はシンプルでした。
- 全レコードを使って分析する
- サンプリングしたデータで分析する
ただ、この時点ではどちらも選べませんでした。
理由は単純で、分析に「いくらかかるのか」が分からなかったからです。
サンプリングが妥当かどうかを議論するにも、
- フルデータで処理した場合のコスト
- 実行時間
- 運用として現実的かどうか
このあたりの規模感が見えていないと、議論が進まない。
そこで最初に決めたのは、
まずは数十億レコードを対象にして、コストと実行時間を実測する
という判断でした。
「最初から正しいやり方」を選んだというより、
議論を前に進めるための判断に近かったと思います。
2. 開発フェーズと運用フェーズは、同じ前提で考えない
次に整理したのが、
開発フェーズと運用フェーズを、同じコスト感で考えないという前提です。
開発フェーズで優先したこと
- とにかく結果を早く見る
- 仮説が成立しているかを確認する
- 多少AWSのコストをかけても、スピードを優先する
具体的には、
- 1日分
- 1週間分
- 1ヶ月分
- 3ヶ月分
- 1年分
という順でデータセットを拡張し、 十分検証したうえで、時間がかかる
1年分の更新は土日にまとめて実行する、と言う方法で開発をしました。
運用フェーズで考えること
一方で、実運用では、
- 毎日回す処理のコストは抑えたい
- 実行時間も一定以内に収めたい
という制約が出てきます。
この2のフェーズは、同時には最適化できません。
ここで意識していたのは、
無駄にAWSの費用を使う意味はないが、
コストを抑えて開発が遅くなることにも意味はない
というバランスでした。
3. ビジネス側の要望と、分析側の判断軸
この段階で分かったのは、
ビジネス側には「フルかサンプリングか」を判断する基準がないということでした。
実際に出てくる要望は、だいたい次の2つに集約されます。
- 同じ結果が得られるなら、安い方がいい
- 色々な分析で実際のユーザー数が見たい
どちらももっともですが、
- どこまでの正確さが必要なのか
- いくらまでなら許容できるのか
といった判断軸は、自然には出てきません。
そのため分析側としては、
- 月に数万円なのか
- 数十万円なのか
といったコストのレンジ感を提示する必要がありました。
フルデータかサンプリングか、という議論は、
コスト感を共有して初めて成立すると感じています。
4. ロジックをシンプルにして「正しさ」の基準を作る
コストの話と同時に意識したのが、
最初から複雑なロジックを入れないということです。
データ分析基板の開発の基本方針は次の順序でした。
- 日付によるパーティショニング
- 微小サイズのログファイルのコンパクション
- Sparkによる並列処理
この順番にした理由は、
- 並列処理は、データ品質に影響が出る可能性がある
- まずは「この結果を正とする」ベースラインを作りたかった
からです。
高度な最適化を先に入れるより、
判断の拠り所になる結果を先に作ることを優先しました。
5. 実行時間とコストを「測れる状態」にする
この段階での目的は、最適化ではありません。
- 実行時間
- コスト
- 対象データ量
これらを毎回把握できる状態を作ることでした。
例えば、
- コストを抑えた場合、どのくらい時間がかかるのか
- 1日分のデータセットは、1日以内に作る必要があるのか
- 毎日モニタリングしたい指標は、本当に存在するのか
こうした問いは、
測れる状態になって初めて考えられるものです。
分析の価値がまだ見えていない段階では、
無理に高速化や最適化を進めない、という割り切りも入れました。
6. おわりに:品質・時間・コストは「段階の話」
ここまで整理してきた結論は、シンプルです。
- 初期段階は、品質重視
- 理解が進んだら、実行時間とコストのバランスを取る
- 品質の確認方法が確立すると、選択肢が増える
最初から最適解を狙わない。
まずは判断できる材料を揃える。
第4回は、そのための考え方と割り切りを整理した回になりました。
Discussion