IVECテスタークラス シラバス読解 Part13
はじめに
今回は前回の続きで、テスト自動化に関するシラバス読解を進めていく。
5. 専門テスト知識・スキル
5.1. テスト自動化
自動テストの実行
自動テスト実行前の準備・手順を実施
自動テストが正しく実行されるよう、以下の準備を行う。
・環境の準備:必要なアプリケーションの起動や不必要なアプリケーションの停止、画面解像度の設
定、ネットワーク接続を確認する
・テストケースの準備と確認:テストの範囲や目的、内容を確認する
・テストデータの準備:必要なテストデータを配置する
・テスト結果の取得と保存の準備:保存場所の設定を確認する
手動テストにせよ、自動テストにせよ事前準備を怠ると、いざテスト開始した際に、あれができないこれができないといったことが起こり得る。
そして、日次や週次のテスト進捗報告でテスト進捗が思わしくないことを気まずそうに報告することがないよう、テスト実行担当はテスト実行前にテストの実施可否を可能な限り選別しなければならない。
もし、テストに必要なデータが事前に準備できないのであれば、その旨を記載した上でテスト計画書にいつ頃準備できるのかの追記も必要になる。
自動テストの実行と実行結果の確認
自動テストが正しく実施されているか、以下を確認する。(テスト対象の不具合と、自動テストの不具
合は異なることに注意する。)
・自動実行したテストがすべて実施されているかを確認する(途中で終了している場合は自動テスト
の不具合が考えられる)
・自動テストの結果に問題がある場合は、自動テストのエラーであるかを確認する
・自動テストの実行結果が正しく記録されているかを確認する
(自動判定の場合は指定の記録場所に結果が記録され、目視確認の場合は自動実行の結果を目視確認
し記録する)
テストの実行結果の確認については、手動テストと類似している部分が多いのではないだろうか。
実行結果の取得に問題がないかを始め、テスト結果に問題がある場合はソフトウェアの不具合と早急な判断を下さず、テストツールの不具合やテスト環境不備も疑ってかかった方が良い。
特に自動テストが初めての場合は、テスト環境設定やデータ不備の平易なミスが起こりそうな気がする。
自動テストの実行記録
自動テスト実行に関わる一連の記録を残す
自動テスト内容や使用するテストツールの種類により実行結果の保存方法が異なることを理解し、テ
スト仕様で指定された形式で記録を残す。
具体例として、ログファイルに記録したり、スクリーンショットやムービーを記録したり、直接他の
ファイル(Excel 等)に記録するなどの方法がある。
実行結果の保存方法について、テスト計画で定めた形式(ログファイルやスクリーンショット等)で保存する。
また、自動テストが継続した際に、テストの実行結果ファイルの保管方法について、何らかのルールを設けておくことで、どこかで自動テストに問題が起きて過去を遡る必要が出てきた時に「どこやってっけな?」とならずに済むかもしれない(そんな状況が起こり得るのかはピンと来ないですが)。
自動テストの不具合報告
可能な範囲で、テスト対象の不具合と、自動テストの不具合を切り分けて報告する
自動テストの結果が「失敗(NG)」となった場合には、「テスト対象の不具合」か「自動テストの不具
合」が考えられる。
「自動テストの不具合」の場合はさらに以下のエラーや不備が考えられる。
・テストスクリプトのエラー
・テスト環境の不備
・テストデータの不備
・期待値の不備
テスト結果がNGになった際は事象の切り分けを行い、テストツールやデータに問題がないかを精査しなければならない。
もし、事象の切り分けも行わず何でもかんでも不具合起票してしまうと、開発チームから「これ環境の問題じゃない?」と差し戻され、テストチーム側が開発側に負荷を与えてしまう。
開発の手を止めてまで不要なコミュニケーションが発生しないよう、テストチーム側で不具合の見極めはプロジェクトを円滑に回す上で重要なタスクとなる。
自動テスト結果の報告
テスト対象のテスト結果の報告と、自動テストの実行結果の報告を行う
自動テストで発生した不具合について、テスト対象の不具合と自動テストの不具合の報告を分けて行
う。
テスト対象の不具合は手動テストと同様に不具合報告を行い、自動テストの不具合は予め決められた
方法で、テスト実行管理者や自動テストの管理者に報告を行う。
テスト結果報告について、テスト対象と自動テストの報告はそれぞれ分けての報告が必要になる。
これを一緒に報告してしまうと、テスト全体の中でテスト自動化がどれくらい貢献したかが可視化できず、コストを掛けてまでやる価値があったのかという疑念が生まれてくる。
自動テストは手動テストに比べ、時間効率やテスト結果の一貫性・客観性の面でメリットがあるが、自動テストが上手くいかなかったとなれば、なぜ上手くいかなかったのかを分析し、次回へ改善しなければならない。
効率アップのためにテスト自動化を導入したものの、結果的に足を引っ張る要因になり無駄だったじゃんと思われぬよう、テスト自動化の結果報告はテスト対象とは別に行うこと。
おわりに
次回はIoTテストのシラバス読解を進めていくが、この部分は前回書いていた時点からシラバスが更新されているので、最新版のシラバスを参照しつつ確認していく。
Discussion