プロダクトリーダーが反復型分析でより良い意思決定を行う方法
この記事は、以下サイトの機械翻訳です。
私たちがデータに疑問を抱くとき、その答えに向かって一直線に進むことはほとんどありません。例えば、質問をして、その質問に答えるための最初の努力が不完全であることに気づき、データを再構築し、新しいデータを導入し、分野の専門家に相談して仮説を練り直し、質問を調整する、といった具合です。
私たちはこのプロセスを「反復分析」と呼んでいますが、実務家の多くは「分析」と呼んでいます。このような考え方は、ほとんどの人にとって直感的で自然なものです。実際、仕事でもプライベートでも、自分がそうしていることに気づかないことが多いのです。しかし、大きな決断を下す際には、その核心となる不確定な質問に答える必要があります。
例えば、ビジネスリーダーがよく尋ねる質問を考えてみましょう。マーケティング担当者は、「購買意欲の高さを予測するものは何か」と考えるでしょう。カスタマーサクセスマネージャーは、どのような特性や行動がお客様の成功や解約の可能性を示唆するのかと質問するかもしれません。また、プロダクトマネージャーは、チームがバグの修正と新機能の開発のどちらに時間を費やすべきかを問うかもしれません。これらの質問に答えるためには、反復的な分析が必要です。
プロダクトチームは、バグの修正と新機能の構築のどちらに時間をかけるべきか？
カスタマーサポートチームやリニューアルチームが、プロダクトチームにバグの修正に時間を費やしてほしいと考えているとします。お客様はバグに不満を感じており、それが火種になっています。しかし、営業チームは、そのバグはエッジケースだと言い、製品チームが新機能の開発に時間を割くことを提案しました。
プロダクトリーダーとして、あなたはこの判断をどのように下しますか？いくつかの基本的な質問には簡単に答えられるでしょう。
- どのくらいの頻度でエラーを記録しているのか？
- どれくらいのお客様がエラーを目にしているのか。
- どれくらいの数のサポートチケットを受け取っているのか？
- どのくらいのお客様が、特にバグが多いと思われる機能を使っているのか？
これらの質問は、状況を把握するのに役立ちますが、必要な意思決定の助けにはなりません。エラー率のグラフをいくつか見ても、ある方向に投資する場合と別の方向に投資する場合の潜在的なトレードオフを理解することはできません。そのためには、様々な角度から分析し、それらの証拠を総合的に検討する必要があります。そのためには、2つのステップを踏む必要があります。
最初のステップは、最終的な決定を下すために必要な重要な検討事項を定義することです。
- バグは実際にお客様の体験に影響を与えているのか？
- バグ、あるいはサポートチケットのような関連指標は、リテンションと相関があるのか？
- バグの中には、お客様に大きな影響を与えるものとそうでないものがあるか？
- 営業チームが求めている新機能の価値は？
これらの質問に答えるためには、もう一段階深く掘り下げる必要があります。
例えば、「サポートチケットはリテンションと相関があるか」という問いに対して、単に「解約されたお客様がリテンションされたお客様よりも多くのサポートチケットを送っているか」ということだけを考えることはできません。そうではなく、より詳細な一連の質問をしなければなりません。それぞれの質問は、前の質問に対する答えに基づいて変化します。
- お客様の規模に応じて調整する必要があるか（例：大規模なお客様はより多くのサポートチケットを送る傾向があるか？彼らはよりリテンションする可能性が高いのか？)
- すべてのサポートチケットは同じか？除外すべきものや、より重きを置くべきものがあるか？
- タイミングは重要か？新規のお客様からのチケットをより気にするべきか？更新を控えたお客様からのものか？
- CSATのスコアが良いか悪いかで、チケットをどのように調整するか？
- 解約したお客様は、ユーザーエクスペリエンスが悪いにもかかわらず、製品への関心を失い、サポートチケットの送信数が少ないのでしょうか？
これらの質問は、それぞれエビデンスの一部です。しかし、その証拠は、必ずしもすべてが同じ方向を向いているわけではありません。サポートチケットはリテンションと相関があるのか」という問いに答えるためには、これらの証拠を推論や直感と組み合わせ、最も支持されると思われる答えを導き出す必要があります。
そしてその答えは、似たような質問に対する答えや、あなた自身の推論や直感と組み合わされ、バグの修正と新機能の構築のどちらに投資すべきかを決める助けとなるのです。
反復することで、より完全なイメージを得ることができる
複数の質問に答え、それぞれをループさせ、最終的なインプットセットにまとめ、それらを総合的に判断して最終的な結論を導き出す、このプロセスが反復型分析です。
データは基本的なアプローチを変えるものではなく、内側にある一連の質問に答えるための強力な手段を提供するものです。しかし、それでもデータがその疑問に直接答えてくれるとは限りません。異なるデータセットを組み合わせたり、一見計り知れない概念を独創的な方法で測定したり、結果をさまざまな方法で切り取って分析したりと、繰り返すたびに問題に対する新たな視点が生まれてきます。
例として、「サポートチケットはリテンションと相関があるか」という質問に対して、反復型分析を用いてどのようにアプローチするか、ステップバイステップで見ていきましょう。
コンテキストの確立
解決しようとしている問題を大まかに理解できるようなハイレベルな質問をしてください。お客様ごとに何枚のサポートチケットが提出されているかを把握する。時間の経過とともに変化していますか？解約したお客様はより多くのチケットを提出していますか？これらの質問をすることで、解約されたお客様が平均してより少ないチケットを書いていることがわかります。
より深く掘り下げる
最初の発見を説明できるような質問をしてみましょう。なぜそのような傾向があると思うか？ 次にこれらの仮説を検証するために、より詳細な質問を重ねます。
例えば、「解約したお客様のチケット提出枚数が少ない」という最初の結果が、カスタマーサクセスチームの直感に反していたとします。それはなぜでしょうか？もしかしたら、顧客の規模や顧客歴などの交絡変数が隠れているかもしれません。規模の大きいお客様や年齢の高いお客様は、より多くの質問をするかもしれませんが、同時に高い割合で顧客維持されています。
さらに、これが当てはまらない顧客層はあるだろうか？顧客に関するいくつかの情報を収集し、いくつかの簡単なチャートを作成して、異なる顧客コホート間で関係が保たれているかどうかを確認します。
このシナリオをより深く掘り下げると、多くのセグメントのお客様において、解約されたお客様は平均してより少ない枚数のチケットを書いているという点が明確になる。
データと人間の推論を組み合わせる
これまでの質問で収集したデータを分析します。 証拠は必ずしも同じ方向を向いているわけではないことを理解してください。推論と直感を駆使して、最善の判断を下すことが必要です。
なぜ継続的なお客様はより多くのチケットを書くのでしょうか？それは、お客様がより多くの時間を製品に費やし、その結果、より多くのバグを見つけているからかもしれません。これを調べてみましょう。アイドル状態のセッション時間をコントロールすると、結果は変わりますか？これには新しいデータを導入する必要があるかもしれません。今回は複雑なので、関係性を確認するにはリテンションで回帰するのがベストです。
この例では、アイドルセッション時間を調整後も、リテンションとサポートチケット量の間に正の関係があることがわかります。継続的なお客様は、解約されたお客様に比べて、アクティブな1分あたりにより多くのサポートチケットを提出しています。
異なるデータセットを組み合わせる
現在のデータセットで測定されていないものを考えてみましょう。もしかしたら、まだ調査していないデータに答えが隠されているかもしれません。
当社では、サポートの顧客満足度（CSAT）が非常に高くなっています。サポートに問い合わせた人が、バグを許してくれるほどのポジティブな体験をしているのでしょうか？顧客別のCSATスコアと解約率やサポートチケットには相関関係があるのでしょうか？CSATスコアを引っ張ってきて、顧客別のCSATスコアの平均値を見てみましょう。
このシナリオでこれらの質問をすると、解約された顧客はCSATスコアがかなり低いことがわかります。これは有望ですが、因果関係を理解するのは困難です。前述の分析から、CSATスコアは新規ユーザーの方がはるかに低いことがわかっています。
何度も繰り返す
引っ張るべき糸が見つかったら、それをより深く理解するために掘り続けます。反復型分析はミステリーを解くようなもので、決定的な証拠があるわけではありません。その代わり、1つ1つの手がかりを丹念に追うことで、答えを見つけることができます。
当社のサポート顧客満足度スコア (CSAT) は非常に高い。サポートに書き込んだ人は、バグを許してくれるほどのポジティブな体験ができるのでしょうか？顧客別のCSATスコアと解約率やサポートチケットには相関関係があるのでしょうか？CSATスコアを引っ張ってきて、顧客別の平均CSATスコアを見てみましょう。
そうすることで、どのバグが新規ユーザーの書き込みの原因になっているかを理解し、そのバグに対処することができます。また、サポートチームが新規のお客様からの質問を優先すれば、解約を減らせることもわかっています。
このシナリオでは、数人のエンジニアがこのコアセットのバグに取り組み、残りのチームは新機能に取り組むべきでしょうか？それとも全員がバグに取り組むべきでしょうか？これらの質問に答えるには、元の大きなループの質問セットに戻り、今回の質問と同じように作業を進めます。このように、複数の層の質問に答え、それぞれの質問をループさせ、最終的な入力セットにまとめ、それらをすべて考慮して最終的な結論を導き出すプロセスが、反復型分析です。
結論として
反復型分析によって、プロダクトアナリストはユーザーをより深く理解できるようになり、その結果、プロダクトチームの作業に優先順位をつけることができるようになります。反復型分析をプロダクト分析ツールやBIツールと組み合わせて使用することで、プロダクトチームはより多くの情報に基づいた意思決定を行い、より迅速に結果を出すことができるようになり、より少ないリスクでプロダクト主導の成長を促進することができます。
アナリティクスに関するその他のコンテンツを見る。プロダクトマネジメントに関するさまざまなトピックのコンテンツについては、「Content A-Z」をご覧ください。
LINEで「海外プロダクトマネジメント情報を機械翻訳」の新着投稿を受け取れます📬
Discussion