Launchable Advent Calendar 8日目 - Simulateページ

Launchableの各機能の利用方法を紹介する Launchable Advent Calendar 8日目です。

はじめに

8日目は生成された学習モデルのパフォーマンスを確認するSimulateページについて紹介します。

Simulateページ

Simulateページは左メニューバーの Predictive Test Selection > Simulate から遷移できます。

モデルが生成されていればConfidence curveというグラフが表示されます。

このような画面が表示されている場合はまだ学習モデルの生成が完了していない状態です。

学習モデルの生成にはテスト結果のデータを送り始めてから2日程度時間を要します。
テストデータを送り始めてすぐの場合は少し待ってみてください。2日以上経過しているのにモデルが生成されない場合は、失敗しているテストの情報が足りない可能性があるのでモデルの生成に必要なデータが貯まるまでもう少し送り続けて下さい。

Launchableではデモ用のプロジェクトを公開しているのでこの時点でモデルが生成されていない場合はこちらを試してみてください。

グラフにマウスを重ねるとConfidenceの%の値が見やすい形で表示されます。

グラフの見方ですが横軸がテストの総実行時間。縦軸が失敗するテストを見つける確率になります。
このモデルのグラフの場合は全体の約1/10の時間で失敗するテストを約78%の確率で見つける事ができる。ということを示しています。

この性能グラフを元にDay 6で紹介したSubsetの適切な値を決めてみて下さい。

さいごに

本日は学習モデルの性能について確認できるSimulateページとグラフの見方について紹介しました。
9日目はSubsetのオプションであるobservation modeについて紹介します。

本Advent Calendarで紹介しているサービス, コマンドのオプションなどは2022/12/08時点のものになります。今後変更する可能性があります。ご了承ください。