🍎

AppStore ConnectのA/Bテストを試してみた

2022/02/03に公開

iOS

AppStore

App Store Connect

tech

2022年1月~AppStore ConnectでA/Bテストが利用できるようになりました。
実際使ってみたので、気づいたこと・検証結果を共有します。

その他、マーケティング向けの多数の機能が追加されています。
公式のアナウンス

プロダクトページの最適化 (A/Bテスト)

以下、実際触ってみた挙動も踏まえつつ、仕様についてです。

最大90日実行される
途中で停止は可能
一部の国だけでテスト可能
iOS15以上のユーザーに表示される
テストを一度開始すると変更不可
- テストを停止して、再度テストを作り直す
終了したA/Bテストは削除できない (2022.01現在)
スクショの追加・変更はmetaデータの審査のみで公開できる
審査はだいたい1日で通る
- とあるが、自分が正式リリース前のトライアウト期間に試した結果、2回とも2日以上かかった()
Appアイコンは、現在App Storeで公開中のバージョンのAppバイナリに含まれており、かつアセットカタログで代替アイコンの使用をサポートするSDKがAppで使用されているもののみ使用できる
- 動的なアイコン変更の設定は下記を参照
- https://moneyforward.com/engineers_blog/2017/03/29/ios10-3-alternateiconname/
テストの結果が良かった場合、テスト内容のスクリーンショットを反映することもできる
- アイコンは自分で差し替えてバイナリの再提出が必要
注記: テスト実行中に新しいAppバージョンをApp Reviewに提出すると、テストは自動的に停止される
(英文)Note: Submitting a new app version for review automatically stops any tests that are in progress.
- と公式ドキュメントにはあるが、試したところ自分はテスト停止されなかった
- アプリ提出のたびにA/Bテストが停止されるのは不便でしかないので、その挙動の方がありがたい
- 追記: アプリをリリースするとテストが停止していました..。

テストの作成について

1回のA/Bテストで最大3種類のアイコン/スクショのセットを同時にテストできる
- 公式にはその単位をロゴと呼んでいる(日本語版)
トラフィックの割合に関しては、元々のプロダクトページの枠を除いてロゴをどの割合で表示させるかを決められる
- 例)3種類のロゴを設定し、トラフィックの割合を30%に設定した場合、Appのプロダクトページを表示したユーザの10%ずつに各ロゴが表示される

詳しくは公式ドキュメントをご参照ください

公式URL

公式ドキュメント

検証結果について

今回、スクリーンショットは縦横どちらが効果あるのかという長きに渡って解のなかったテーマを試しに検証してみました。
普段は弊プロダクトは横スクショなのですが、A/Bテストで縦スクショを追加。

1/19 - 29の10日間という短い期間の調査ですが、ほとんど変わらない, むしろ微減..という結果になりました。あまり変化なさそうなので、このままのグラフィックで進めたいと思います。
まだリリースしたてで動作不安定なところもあるA/Bテストですが、またスクショの変更など、大幅なグラフィック変更がある際は指標として利用したいと思います。