Open2

デルタ法を用いたサンプルサイズの算出

hanatahanata

ユースケース

ABテストの効果測定において、以下の2つのケースで利用できる。

  • KPIが割合値であるケース
    • ランダム化単位と分析単位が異なるケース
      • ユーザー単位でランダム化し、KPIをimpressionベースなCTRを用いる。
    • リフト倍率を算出したいケース
      • Y_t / Y_c や (Y_t -Y_c) / Y_c など

なぜデルタ法を使う必要がある?

  • 統計量の分散が過小評価されてしまうため、偽陽性が上がる
    • つまり検出力は下がる

理論的な背景

指標の分母分子がi.i.dな確率分布から得られた確率変数の平均値であるため、中心極限定理により分母分子はそれぞれ正規分布に従う。
これによりデルタ法が適用でき、指標の分散の近似値を算出することが出来る。

\delta を2群のKPI差として、必要サンプルサイズkは以下のように表せる。

k = 2h \cdot \left(z_{1-\frac{\alpha}{2}} + z_{1-\beta}\right)^2/\delta^2, \\ h = \frac{1}{\mu_N^2}\left(\sigma_S^2 - 2\frac{\mu_S}{\mu_N}\sigma_{SN} + \frac{\mu_S^2}{\mu_N^2}\sigma_N^2\right)