🚀

Launchable Advent Calendar 25日目 - まとめ

2022/12/25に公開

Launchableの各機能の利用方法を紹介する Launchable Advent Calendar 25日目です。

はじめに

今日は今まで書いたLaunchable Advent Calendarをどのような時に参照するとよいか索引的な記事になります。

まとめ

Launchableのセットアップ

まずはlaunchableinc/cliを使ってテスト結果をLaunchableへ送るところまで参考になる記事です。

基本的な流れは以下になります。

  1. Launchableの概要を理解する
  2. アカウントの発行
  3. launchableコマンドのインストール
  4. launchable record build
  5. launchable record tests

CI環境が複数台で構築されている場合や複数環境でテストを実行している場合は launchable record session コマンドおよび --flavor オプションを適宜利用してセットアップしてください。

セットアップのデバッグには launchable inspect コマンドが利用できます。

また、launchableinc/cliがサポートしていないテストランナーでもLaunchableを利用する方法があります。

基本的なセットアップが完了してからの、Launchableの活用方法は大きく分けて3つあります。

  • Web Appを使ったテストの分析
  • Test notificationを使ったテスト結果通知の効率化
  • Predictive Test Selectionを使ったテストの効率化

があるのでそれぞれ参考紹介します。

Web App

テスト実行環境に関するデータおよび問題のありそうな個別のテストケースをWeb Appでは確認できます。

Test notification

Launchableを使用することでテスト結果の詳細を個別に通知することができます。

Predictive Test Selection(PTS)

launchable subset コマンドを利用したPTSですが --observation optionを利用してセットアップおよび効果の検証をするのをおすすめします。
セットアップが出来たらWeb Pageを使ってセットアップに問題が無いかを確認しましょう。

生成されたモデルの性能とCI環境を鑑みながら状況にあったPTSの値を設定しましょう。

ローカルでのテストでも --ignore-new-tests オプションを使ってのPTSの実行をおすすめします。

複数台でCIを並列に実行したい場合はこれらを参考に最適な実行方法を選択してください。

さいごに

25日間に渡ってLaunchableおよびlaunchableコマンドの使い方を紹介してきました。

テストが遅くて困っている。flakyなテスト多くて困っているがどこから直したらよいか分からない。等テストに課題を感じている人/チームがいましたら是非Launchableを試してみてください。

Discussion