問い合わせ対応におけるデータ分析はどこまで深ぼりをすればいいのか？

私はフリーランスでデータサイエンスをしてる人です。開発業務をしている側、「このモデル、どうしてこの内容のリコメンドをしてるの？肌感と一致しないんだけど、ちょっと原因調べてくれない？」のような問い合わせがPMなどの意思決定者からしばしば降ってきます。他のデータサイエンスチームにとっても同じような状況はあると思います。問い合わせの原因を特定するだけで解決する場合や、集計クエリを書くだけで問題が解決する場合はイージーですが、原因を特定するだけでは解決しない問い合わせ対応に直面することもあります。そのような場合に「あれ、原因を調べるだけでいいんだっけ？何をどの程度調べればいいんだっけ？」と具体のタスクが不明確になり、手が止まることがありました。その時に感じたことを書きます。

不明確なタスクを明確にする

そういう時は、どういう視点から意思決定者は原因を調べてほしいと思っているのかを考えればタスクは明確になりやすいです。

意思決定者はどうしたい？

• 問題の重要度と緊急度を判断したい
• 修正が必要か？すぐに修正するべきか？後で修正しても大丈夫か？を判断したい

その判断を下せるための材料ってなんだ？

• この問題について
  • この問題が発生する割合
  • この問題の影響範囲
• 修正案について
  • その修正でどの程度問題が解決するか
  • どの程度の工数がかかるか
  • 暫定的な対応策や恒久的な対応策があるか

必ずしも問題の根幹まで調査する必要はない

根っこの原因まで調査することは一見普遍的に正しそうな気がします。しかし、このケースでは判断を下すための材料が集まればよく、必ずしも問題の原因を正確に特定する必要はないと思っています。大まかな問題の原因が分かれば、それに対する対応策が定まることもあります。その後も原因分析を続けても意思決定の材料が増えない場合、分析を続ける価値は少ないと思います。そのような場合、対応策が明確になった時点で分析を停止し、結果を共有する方が良いでしょう。なぜなら、早急な判断によるビジネス上のメリットは大きいからです。

最後に

基本的にデータ分析は時間が溶けがちです。Kaggleのように精度がKPIとなる場合、時間リソースを投入することは悪手ではないかもしれません。しかし、ビジネスにおいては時間を掛けすぎることは悪手になりやすいです。逆に素早く分析結果を持って意思決定ができることは悪手になりにくいです。何をどの程度調査すれば判断ができるのかという仮説を立てて分析にあたることで、データの沼に落ちて時間を浪費することは避けたいですね。自戒を込めて。