Zenn
📚

mablで計測できるメトリクスをさらっと見てみる

2023/07/31に公開
E2E テスト
Test
mabl
tech

※この記事は2023年7月末日時点の情報を元に作成しています
※キャプチャはサンプルです。実務のデータではありません

ホーム画面などで確認できる各種サマリ

テスト数

概要
実装されているテストの数。
数を確認できる画面

  • ホーム画面 アプリケーションフィルター：無効
    • mablが自動作成したテストは含まれていない
  • テスト一覧 アプリケーションフィルター：有効
    • mablが自動作成したテストも含まれている
  • テスト一覧>ダウンロード CSV アプリケーションフィルター：有効

Flow数

概要
実装されているFlowの数。
数を確認できる画面

  • ホーム画面 アプリケーションフィルター：無効
  • Flow一覧ではFlow数は確認できず、アプリケーションフィルターも無効

実行したテスト数

概要
クラウド実行（課金対象）したテスト数。
数を確認できる画面

  • ホーム画面 アプリケーションフィルター：無効
  • 設定画面>USAGE>BROWSER TESTS
    • 日別実施数と累計実施数

実行したアクセシビリティチェック数

概要
実行したアクセシビリティチェックの数
パフォーマンステスト実行数になる場合もあるみたい👀
数を確認できる画面

  • ホーム画面 アプリケーションフィルター：無効
  • 設定画面>USAGE>ACCESSIBILITY CHECKS
    • 何かが表示されそうだけどされていない🤔

チームメイト数

概要
招待しているユーザー数
数を確認できる画面

  • ホーム画面 アプリケーションフィルター：無効
  • 設定画面>TEAM アプリケーションフィルター：無効
    • 数は出ないかも。一覧表示のみ

プラン数

概要
定義されているプランの数
数を確認できる画面

  • プラン一覧 アプリケーションフィルター：有効
    • 数は出ないかも
  • プラン一覧>ダウンロードCSV アプリケーションフィルター：有効

日別のテスト実行数と現在実行中のテスト

概要
Planでテスト実行した場合の履歴が表示されている（アドホックランは表示されていない）
数を確認できる画面

  • ホーム画面 アプリケーションフィルター：有効

30日間で最も多かった失敗の原因

概要
Planで実行したテストが対象。失敗の原因の分類をしている場合、表示される
数を確認できる画面

  • ホーム画面 アプリケーションフィルター：有効

テスト結果一覧

テスト毎の結果

概要
クラウド実行を行った全てのテスト結果

<一覧に表示される項目>

  • Browser
  • Status
  • Test
    • Failure reasons
  • Plan
  • Environment
  • Started time(Time of run)
  • Run time(Duration)

<詳細に表示される項目>

  • Run time(Duration)
  • Browser
  • Started time(Time of run)
  • Environment
  • Plan
  • Runner
  • Auto-heals
  • Triggered by
  • Cumulative load time
  • Accessibility violations
  • Performance※プランによっては表示されない

数を確認できる画面

  • 結果一覧>BY TEST アプリケーションフィルター：有効
  • 結果一覧>ダウンロードCSV アプリケーションフィルター：有効
  • テスト一覧>テスト詳細

プラン毎の結果

概要
プラン毎のテスト実行結果

<一覧に表示される項目>

  • Status
  • Plan name
  • Plan run time
  • Browser
  • Test
    • Failure reasons
  • Plan
  • Environment
  • Started time(Time of run)
  • Run time(Duration)

<詳細に表示される項目>

  • History
  • Plan run duration

数を確認できる画面

  • 結果一覧>BY PLAN アプリケーションフィルター：有効
  • Plan一覧>PLAN詳細

デプロイ毎の結果

概要
テスト実行の契機をCI/CDで設定している場合表示される
（今いま使ってないので表示されていないので割愛）

インサイトで見れる数値

Test coverage

概要
有効なページに対するテストカバレッジ。なので、そもそもリンククローラーなどで全てのページを認識させるなどしていないかぎりは100%になるんじゃないかな🤔

Auto-heals

概要
Auto healがどれくらい働いたか

Visual changes

概要
Visual changesをどれくらい検知したか

概要
壊れたリンクをどれくらい検知したか

Javascript errors

概要
Javascriptのエラーをどれくらい検知したか

カバレッジで見れる数値

RELEASE

概要
品質メトリクスをここで見れるよとのこと

PAGE

概要
テスト対象のWEBページに対するメトリクス

アクセシビリティで見れる数値

概要
現在のアクセシビリティについての数値を見れるよとのこと

定義に対する深刻度を教えてくれる

おまけ

テスト結果収集に役に立ちそうなインテグレーションとか

Discussion