🤖

小さなウェブサイトでのA/Bテストの難しさ

2022/11/16に公開約1,100字

私は仕事上、A/Bテストを行ったことがあります。やってみての感想は、A/Bテストは非常に繊細で緻密なため、扱いが非常に難しいです。失敗する可能性も高いと思います。今回は、なぜA/Bテストが難しいのかについてお話したいと思います。

A/Bテストとは、2つのサイトの見た目と機能のパターンを指定された割合のユーザーに配信し、どちらのパターンが与えられたゴールを達成しやすいかをテストする方法です。目標とは、例えば、ページ遷移、ボタンクリック、コンバージョンなどです。これは、A/Bテストを実施する場所によって適切に設定されることが期待される。

注意点としては、A/Bテストはあくまで可能性の高いものを教えてくれるものであり、実際にリリースしたときに必ず良い結果が出るというわけではないことです。

さて、概要を説明したところで、このA/Bテストがなぜ難しいのかについてお話します。まず、目標設定についてです。例えば、あるリンクからフォームに飛ぶテストをしたいとして、そのリンクが押された回数を目標値として設定するとします。この時、注意しなければならないのは、パターンBの方がリンクが押される回数が多くても、コンバージョン完了数が多くなるとは限らないということです。A/Bテストでは、コンバージョン完了数など、変更を加えることで下げたくないビジネスクリティカルな指標をガードレ-ルメトリクスと呼びます。

A/Bテストで良い結果を出したのに、コンバージョンに影響がなかったり、マイナスになったりするパターンが実際にリリースされる理由として考えられるのは、このガードレールメトリクスが無視されていることです。

もちろん、A/Bテストでは最終目標であるコンバージョン完了率を目標に設定するのがベストですが、目標の差が大きく比較できないため、コンバージョンの母数が少なくテストができないケースもあるでしょう。そこで登場するのがガードレール指標で、これは結局コンバージョン完了率をA/Bテストの目標に設定したのと同じことです。つまり、流入数やコンバージョン数がかなり少ないとA/Bテストはうまくいきません。

そもそもこの現象は、サイトの変更自体で起こることが多いと思います。ランディングページのようなゴールが明確なサイトでは、ユーザーがどのようにゴールを達成するのか、そのストーリーを設計する必要があります。これはマクロ的に見ても非常に重要なことです。

流入数やコンバージョン数が少ない場合は、ボタンの装飾や文言などの小さな変更ではなく、ページ数の削減やメインビジュアルのリッチ化など、ストーリーに沿った変更を行うことが効果的だと考えています。

Discussion

ログインするとコメントできます