Open2023/11/19にコメント追加5

統計の学習ログ: Google Play ConsoleのStore listing experimentの結果の見方

Google Play ConsoleでスクリーンショットのA/Bテストをしていて、結果の見方を忘れてしまったのでメモ。
結論として以下の場合、Variant1のインストール数は、90%の確率でCurrent listingのインストール数の-57.7%〜+60.4%になると言っている(例えばCurrent listingで100インストールなら、Variant1はだいたい42~160インストールになると言っている)。

matsuchiyo

↑では、おそらくt検定(母平均の差の検定）をしてくれているのかなと思う。

参考: 平均値に差があるかを調べる「t検定」今日からできる【やさしい統計学14】
- A/Bテストなど2つのグループに差があるかを知りたい時に使うのがt検定
  
  そういうときに、果たしてこの二つの広告の間の差というのは信頼がおけるかどうか、統計的に検証してみようという話になってくるわけなんです。その時に使うのが『ｔ検定』です。
- t検定の考え方: 平均的に「差がある」とは、どういう条件なら言えそうか
  - (1) 平均値の差が大きい
  - (2) 各グループのデータがバラついてない（平均が信頼できる）
  - (3) サンプル数が多い
- 平均の差 / √(ばらつきーサンプル数)
  - この記事では触れられてないけど、ばらつきとは？Aグループの不偏分散とBグループの不偏分散を足すのかな？
  - 同様にサンプル数とは？単純に足す？
- Excelでt.test関数で求めることができる。
- 結果としてp値が求まる。p値が0.1なら、90%の確率で差があると言える。
t.testのリファレンス

2 つの標本が平均値の等しい 2 つの母集団から抽出されたと見なせるかどうかを調べます。
https://support.microsoft.com/ja-jp/office/ttest-関数-1696ffc1-4811-40fd-9d13-a0eaad83c7ae

matsuchiyo

あるいは、1つ上のコメントの記事ではクリック回数だけ考慮しているが、そうではなくストアでスクショを見た人のコンバージョン率を考慮する母比率の差の検定をしているかもしれない。

参考: https://bellcurve.jp/statistics/course/18227.html

matsuchiyo

そもそもドキュメントに書いてないかなと思ったけど、見当たらなかった。

現在の掲載情報と比較した、パフォーマンス（インストール数）の推定変化量です。パフォーマンスは、テストで十分なデータが収集されて初めて表示されます。通常、テストを実行してデータを収集する時間が長いほど、バリエーションのパフォーマンスの範囲は狭まり、正確になります。
https://support.google.com/googleplay/android-developer/answer/12053285?hl=ja#zippy=%2C統計情報指標例についての説明を見る

Appleの方も探してみたけど、見つけられてない。下のページ内のスクショによると、母比率の差の検定である気はする。

matsuchiyo

読んでみた: 高橋麻奈「ここからはじめる統計学の教科書」4. 標本から推定する
（この章がわかれば、上のコメントの母比率の差の検定を理解しやすくなる）

4.1 推定の基礎を学ぶ
- 「特に標本平均や標本分散などをはじめとした標本に関する量を統計量(statistics)といいます」
- 「母集団Xが平均μ, 分散σ^2の正規分布にしたがうとき, 標本平均Xバーは, 平均μ, 分散σ^2/n(標準偏差σ/√n)の正規分布に従う」
4.2 点推定を行う
- 「点推定を行うためには, 標本に関する統計量が推定量として妥当な量である必要があります。このためには次の性質などが必要とされる...」
  - a. 普遍性
    - 普遍性とは、推定量θハットの分布が、母数シータを中心としていることをいいます。
      - ?: ↑これ、母集団が不明なのに、どうやって中心としていることがわかるのか？
  - b. 一致性
    - 一致性とは、標本数nを増やしていくと、推定量θハットが母数θに一致することをいいます。
  - c. 有効性
    - 有効性は、推定量の分布の分散が小さいという性質です。
- 4.2.3 母分散を点推定する
  - ... 代わりに標本の不偏分散(unbiased variance)と呼ばれる量を使います。不偏分散は標本に関する偏差平方和を標本数-1で割ったものです。
  - 標本不偏分散s^2 = (Σ(Xi - Xバー)^2/(n-1)
  - この標本平均を使って求めた偏差平方和は、母平均を用いた場合よりも小さくなっています。
    - ?: ↑ピンとこない。
  - ... 自由に値を取れるXの数はn-1となっています。このとき偏差平方和をnではなくn-1で割ると、その平均は母分散となり、母分散の周りに分布します。このn-1は自由度(degree of freedom)と呼ばれています。一般的に、推定量の中にもう一つの推定量を使用する場合には、自由度が1減ります。
4.4 母平均を区間推定する
- 4.4.2 母分散がわからない場合
  - そこで、母分散がわからない場合には、母分散σ^2の代わりに標本不偏分散s^2を代用することにします。
  - ...標本平均を標準化した統計量T=(Xバー - μ) / (s / √n)は正規分布には従わない...自由度n-1のt分布と呼ばれる確率分布に従う... ⭐️
4.6 推定の手法を応用する
- 4.6.4 母比率を区間推定する
  - 母集団中にある目標が存在する割合を考えたい場合があります。これは、目標が存在する割合を生起確率、母集団中のデータ数を試行回数とした二項分布について、生起確率を推定する問題として考えることができます。
    - メモ: 後からでてくる例題でいうと、15000人の社員が何%かの確率で社長の支持率調査で社長を支持するというふうに捉えるということ。母集団は試行回数15000回の二項分布に従う。
  - 母集団の生起確率は母比率と呼ばれます。
  - 二項母集団からの標本比率の分布
    - 統計量：Xバー(標本比率)
    - 確率分布：平均＝p、分散＝p(1-p)/nの正規分布に近似する ⭐️
      - ?: ↑なぜ、平均＝p、分散＝p(1-p)/nになる？二項分布は平均: np, 分散: np(1-p)なのに。
        
        → n回試行した合計ではなく、標本比率(n回試行した平均)だから。分散がnで割られているのは、標本平均の分散がσ^2ではなくσ^2/nになるのと同じような考え方だと思う。