Launchable Advent Calendar 25日目 - まとめ

Launchableの各機能の利用方法を紹介する Launchable Advent Calendar 25日目です。

はじめに

今日は今まで書いたLaunchable Advent Calendarをどのような時に参照するとよいか索引的な記事になります。

まとめ

Launchableのセットアップ

まずはlaunchableinc/cliを使ってテスト結果をLaunchableへ送るところまで参考になる記事です。

基本的な流れは以下になります。

1. Launchableの概要を理解する
   • Launchable Advent Calendar 1日目 - Launchableとは
2. アカウントの発行
   • Launchable Advent Calendar 2日目 - アカウント登録とAPI Keyの発行
3. launchableコマンドのインストール
   • Launchable Advent Calendar 3日目 - Install
4. launchable record build
   • Launchable Advent Calendar 4日目 - record build command
5. launchable record tests
   • Launchable Advent Calendar 5日目 - record tests command

CI環境が複数台で構築されている場合や複数環境でテストを実行している場合は launchable record session コマンドおよび --flavor オプションを適宜利用してセットアップしてください。

• Launchable Advent Calendar 12日目 - record sessionコマンド
• Launchable Advent Calendar 13日目 - flavor

セットアップのデバッグには launchable inspect コマンドが利用できます。

• Launchable Advent Calendar 7日目 - inspect command

また、launchableinc/cliがサポートしていないテストランナーでもLaunchableを利用する方法があります。

• Launchable Advent Calendar 23日目 - custom plugin
• Launchable Advent Calendar 24日目 - rawプロファイル

基本的なセットアップが完了してからの、Launchableの活用方法は大きく分けて3つあります。

• Web Appを使ったテストの分析
• Test notificationを使ったテスト結果通知の効率化
• Predictive Test Selectionを使ったテストの効率化

があるのでそれぞれ参考紹介します。

Web App

テスト実行環境に関するデータおよび問題のありそうな個別のテストケースをWeb Appでは確認できます。

• 問題がありそうなテストを確認する
  • Launchable Advent Calendar 20日目 - Unhealthy Tests
• テストの実行状況を確認する
  • Launchable Advent Calendar 21日目 - Trendページ

Test notification

Launchableを使用することでテスト結果の詳細を個別に通知することができます。

• Launchable Advent Calendar 19日目 - Test notifications

Predictive Test Selection(PTS)

launchable subset コマンドを利用したPTSですが --observation optionを利用してセットアップおよび効果の検証をするのをおすすめします。
セットアップが出来たらWeb Pageを使ってセットアップに問題が無いかを確認しましょう。

• launchable subsetコマンド
  • Launchable Advent Calendar 6日目 - subset command
• --observation option
  • Launchable Advent Calendar 9日目 - observation mode
• Web Appでの確認方法
  • Launchable Advent Calendar 10日目 - AnalyzeページとIntegration issue

生成されたモデルの性能とCI環境を鑑みながら状況にあったPTSの値を設定しましょう。

• モデルの性能の確認
  • Launchable Advent Calendar 8日目 - Simulateページ

ローカルでのテストでも --ignore-new-tests オプションを使ってのPTSの実行をおすすめします。

• Launchable Advent Calendar 14日目 - ignore-new-testsオプション

複数台でCIを並列に実行したい場合はこれらを参考に最適な実行方法を選択してください。

• Launchable Advent Calendar 16日目 - Split Subset
• Launchable Advent Calendar 17日目 - --same-binオプション
• Launchable Advent Calendar 22日目 - test grouping
• Launchable Advent Calendar 15日目 - Zero Input Subsetting

さいごに

25日間に渡ってLaunchableおよびlaunchableコマンドの使い方を紹介してきました。

テストが遅くて困っている。flakyなテスト多くて困っているがどこから直したらよいか分からない。等テストに課題を感じている人/チームがいましたら是非Launchableを試してみてください。

本Advent Calendarで紹介しているサービス, コマンドのオプションなどは2022/12/25時点のものになります。今後変更する可能性があります。ご了承ください。