🍎

AppStore ConnectのA/Bテストを試してみた

2022/02/03に公開

2022年1月~AppStore ConnectでA/Bテストが利用できるようになりました。
実際使ってみたので、気づいたこと・検証結果を共有します。

その他、マーケティング向けの多数の機能が追加されています。
公式のアナウンス
https://developer.apple.com/app-store-connect/submission-update/

プロダクトページの最適化 (A/Bテスト)

以下、実際触ってみた挙動も踏まえつつ、仕様についてです。

  • 最大90日実行される
  • 途中で停止は可能
  • 一部の国だけでテスト可能
  • iOS15以上のユーザーに表示される
  • テストを一度開始すると変更不可
    • テストを停止して、再度テストを作り直す
  • 終了したA/Bテストは削除できない (2022.01現在)
  • スクショの追加・変更はmetaデータの審査のみで公開できる
  • 審査はだいたい1日で通る
    • とあるが、自分が正式リリース前のトライアウト期間に試した結果、2回とも2日以上かかった()
  • Appアイコンは、現在App Storeで公開中のバージョンのAppバイナリに含まれており、かつアセットカタログで代替アイコンの使用をサポートするSDKがAppで使用されているもののみ使用できる
  • テストの結果が良かった場合、テスト内容のスクリーンショットを反映することもできる
    • アイコンは自分で差し替えてバイナリの再提出が必要
  • 注記: テスト実行中に新しいAppバージョンをApp Reviewに提出すると、テストは自動的に停止される
  • (英文)Note: Submitting a new app version for review automatically stops any tests that are in progress.
    • と公式ドキュメントにはあるが、試したところ自分はテスト停止されなかった
    • アプリ提出のたびにA/Bテストが停止されるのは不便でしかないので、その挙動の方がありがたい
    • 追記: アプリをリリースするとテストが停止していました..。

テストの作成について

  • 1回のA/Bテストで最大3種類のアイコン/スクショのセットを同時にテストできる
    • 公式にはその単位をロゴと呼んでいる(日本語版)
  • トラフィックの割合に関しては、元々のプロダクトページの枠を除いてロゴをどの割合で表示させるかを決められる
    • 例)3種類のロゴを設定し、トラフィックの割合を30%に設定した場合、Appのプロダクトページを表示したユーザの10%ずつに各ロゴが表示される

詳しくは公式ドキュメントをご参照ください

公式URL
https://developer.apple.com/jp/app-store/product-page-optimization/
公式ドキュメント
https://help.apple.com/app-store-connect/#/dev6aa9d8d7b

検証結果について

今回、スクリーンショットは縦横どちらが効果あるのかという長きに渡って解のなかったテーマを試しに検証してみました。
普段は弊プロダクトは横スクショなのですが、A/Bテストで縦スクショを追加。

1/19 - 29の10日間という短い期間の調査ですが、ほとんど変わらない, むしろ微減..という結果になりました。あまり変化なさそうなので、このままのグラフィックで進めたいと思います。
まだリリースしたてで動作不安定なところもあるA/Bテストですが、またスクショの変更など、大幅なグラフィック変更がある際は指標として利用したいと思います。

それ以外にも様々なアップデートがされているので、一部紹介します。

カスタムプロダクトページ

以下、概要です。

  • 専用ページを作成できる機能
  • 専用ページ用のURLが生成される
  • 専用のプロモーションテキストを追加できる
  • 審査が必要
  • iOS15以上のユーザーに表示される

あまりドキュメントを読んで、どう活用すれば良いのかピンと来なかったのですが、Search Adsと連携できるようになったらしく、特定のキーワード向けにプロダクトページを出し分けられるようです。これはかなり有用だと感じました。

公式URL
https://developer.apple.com/jp/app-store/custom-product-pages/

公式ドキュメント
https://help.apple.com/app-store-connect/#/dev3a2998d9f

永続的なApp Reviewページ

  • App Reviewのタブが左メニューに追加されている
  • 審査提出した項目が審査終わっても表示される
  • リジェクト内容も保存されそうです(未検証)
    • リジェクト履歴はそのままナレッジとしてチームで活用できるので、そうなると嬉しい

以上です。App Store Connectの新機能を活用してサービスをグロースしていきましょう!

Discussion