[グロースアンチパターン] ABテストを行わない
アンチパターンの見つけ方
新しい施策（アプリの機能追加・修正やキャンペーンなど）を行う際に、ABテストを行っていない場合はこのパターンに当てはまる可能性があります。
頻出するパターンを以下に解説します。
施策実施"期間"を見て効果測定をしている
施策の結果を検証する際に、施策を行った期間と行っていない期間の数値を比較している場合はこのパターンに当てはまります。
なぜ問題があるのでしょうか？
考えてください。その期間に行われたのはその施策だけですか？ある程度の事業規模であれば、以下のように施策が同時進行していることも考えられます。
- 同じグロースチームの他の施策
- 他グロースチームの施策
- グロースチーム外の施策（マーケ、企業PRなど）
これらの影響を差し引いて、本当に実施した施策の結果だけを見ることができますか？
ではチームが小さくて本当にその施策しか行っていない場合はどうでしょうか？それでも現実世界で運用しているサービスである以上関係ありません。例えば以下のような影響があります。
- ユーザの私生活による影響（長期休み、期末考査後、社会混乱など）
- 他サービスの施策による影響（巨大ECのセールなど）
- 流入経路による影響（検索エンジンのアルゴリズム変更、メディアでの紹介など）
もちろんこれら全ての影響を把握して、それらを考慮すれば理論上ABテストを行わなくとも、施策の結果を正確に把握することが出来ます。
しかしそんなことは不可能です。簡単でありなおかつ、完全ではなくとも有用な手段が、ABテストです。
ABテストを活用していきましょう。
アンチパターンを用いてもよい場合
では、ABテストを行わなくても良い場合とは何でしょうか？以下に具体例を挙げます。
外的要因によって結果が左右されない場合
環境が完全なコントロール下にあり、任意に変更出来る場合にはABテストを行う必要はありません。例えばレコメンデーションアルゴリズムのオフラインテストや仮想環境を用いた機械学習がそれにあたります。
サンプル数が担保できない場合
ABテストを行っても、各パターンで十分な数が担保出来ていない場合、結果が信頼できない場合があります。例えば1度目はAパターンが良くても、2度目はBパターンが良かったなどが高い確率で起こり得ます。
そういった場合ABテストを行うコストに対してリターンが見合わず、ABテストは行わないことも考えられます。
施策の結果を振り返らない場合
施策の結果が出てもその結果を活用しないのであれば、ABテストしかり施策の検証をする意味はありません。
仮にどのような結果になっても、施策をそのまま継続することが決まっている場合は、ABテストを行わなくても良いでしょう。
解決策
ABテストを行いましょう。ただもしこれまで行っていなかったということであれば、それは理由があるはずです。
以下ではそれらの理由と、解決策の一例を提示します。
環境整備にハードルを感じる場合
環境を整えるのが大変であればGoogle OptimizeやGoogle Firebase A/B Testingになどの、パターンの作成とユーザの振り分け、結果の解析をマネージドで行ってくれるSaaSを活用するのも良いでしょう。
またそういった外部のサービスを使わなくとも、ユーザIDをハッシュ関数にかけたあとパターン数で割って余剰を取れば、ユーザ数を均等に分割しグループに振り分けることが可能です。そうすれば、後はパターンをハードコートしてしまうだけです。考え方としてはGunosyさんの「ABテストの対象をいい感じに割り振る方法」が分かりやすいです。
施策の都合上ABテストが行えない場合
本当に行えないでしょうか？例えば「大々的な期間限定の割引キャンペーンを行うと利益が伸長する」という仮説を考えてみましょう。
当初こちらの仮説は、そもそも大々的にキャンペーンを行わなければキャンペーンに気づかないのだから、ABテストは行わずに検証すべき、全ユーザに対して同一の施策を行うべきという意見がありました。
しかしこの仮説には検証すべき多くの項目があります。
- キャンペーンがユーザに認知されるか
- 認知したユーザがキャンペーンを活用するか
- ユーザがキャンペーンを活用した結果、売上がコストを上回るか
2と3のみを検証するのであれば、大々的にキャンペーンを行う必要は無いはずです。
もちろん1から3の全てが満たされれば、当初の目的は達成できます。しかし、それは本当にベストな目的達成が出来ているでしょうか？この仮説にはざっと挙げるだけでも、以下のパラメータがあるはずです。
- 対象ユーザ（初回登録ユーザ、機械学習での予測等）
- 告知経路
- 告知クリエイティブ
- 割引条件（割引率、最低購入金額など）
- 割引期間
希望的観測で大きな検証を回すのはギャンブル的な性質が高く、多くの場合はその結果が良かったにしろ悪かったにしろ、振り返りが難しくナレッジの蓄積に繋がりません。
ギャンブルは楽しいですがグロースを主目的にするのならば、その楽しさは一旦おいておきましょう。
Discussion