エクセルで管理していた検収項目を、チーム内でテスト管理ツール上で管理し始めた話です。
なぜテスト管理ツールを使おうとしたのか
エクセルで検収項目を扱う上で、次のようなやりにくさをどうにかできないかと考えたことがきっかけでした。
テスト管理ツールというものの存在はぼんやり知っていたものの、現状エクセルでやってるしと勝手に納得していましたが、1on1でかるく相談してみたら使ってみてもいいよという事で本格的に検討することに。
- 検収項目毎に各項目に対して記載量の差があるとき見にくい
- 例）期待結果に長文書いたら行の高さが高くなりすぎた
- 例）長文書きたい項目の列幅を広くしたけど、元の列幅で問題なかった項目からすると視認性悪くなった
- 検収用のcsvファイルや画像が検収項目と紐づけにくい
- 検収項目に対する優先度などの様々な属性が管理しにくい、列増やしすぎると見にくい
- 同じ検収項目を再試行する際に複数の確認日情報を管理しにくい
- 複数人で実施時に進捗度合いがわかりにくい
- 検収項目のエクセルブックが案件単位で作成されるため過去作成した機能の検収項目を横断的に探しにくい
- 同じ操作と期待結果を何度も書かないといけない場合がある
テスト管理ツールに求める機能
さきほどの課題を解決するにはどのような機能があればいいかざっくり洗い出し。
- 検収項目毎に各項目の記載量に差があると見にくい
- => 記述量の差を吸収できるようなUI
- 検収用のcsvファイルや画像が検収項目と紐づけにくい
- => 検収項目にファイルが紐づけられる
- テストに対する優先度などの様々な属性が管理しにくい、列増やしすぎると見にくい
- => 検収項目に属性が付与でき、視認性等に影響しない
- 同じテストを再試行する際に複数の確認日情報を管理しにくい
- => 検収項目の実施結果を複数保存・管理できる
- 複数人で実施時に進捗度合いがわかりにくい
- => 何かわかるような仕組みがある
- 検収項目のエクセルブックが案件単位で作成されるため過去作成した機能の検収項目を横断的に探しにくい
- => ツール上で集約して管理できるうえで、検収項目全体に対して文字列や属性で検索したい
- 同じ操作と期待結果を何度も書かないといけない場合がある
- => 同一の内容を使いまわせるような機能が欲しい
その他、将来的な移行の余地や、扱っているシステムに階層が深い機能があるのでその辺りも表現できるように、また現状未満にならないようにという意味で、次のような機能も欲しいなと考えました。
- インポート/エクスポートができる
- 検収項目を階層構造で扱える
- 検収項目の一括編集ができる
テスト管理ツールの調査と選定
求める機能を決めたところでそれぞれの要件を満たすテスト管理ツールを検討します。
SaaSに限定してざっと調べて一旦の候補をTestRailとQaseの２つとして、細かい機能を比べる事にしました。
細かい機能を調べ始めて驚いたのが、どちらのサービスも使っている用語や概念が似通っていたことです。
具体的には1つのテスト項目がテストケース、テストケースを機能単位などでグルーピングする枠としてテストスイート（Test Suite）があり、複数のテストケースをまとめてテストプラン（Test Plan）を作成し、このテストプランを実行し結果を記入するテストラン（Test Run）という形でした。
世界的に標準のようなものがあるのかは調べませんでしたが、使い方を確認する上で比較がしやすく助かりました。
求める機能の比較表
| 機能 | Qase | TestRail |
|---|---|---|
| 検収項目ごとの記述量の差を吸収できるUI | OK | OK。Redmineライク |
| 検収項目に画像やファイルを添付できる | OK | OK |
| 検収項目に属性が付与でき、視認性等に影響しない | OK。有償なら任意属性も | OK |
| 検収項目の実施結果を複数保存・管理できる | OK | OK |
| 検収を複数人で実施時に進捗度合いを簡単に確認できる | OK | OK |
| 検収項目の名前や属性での検索機能 | OK | OK |
| 同一の操作と結果を使いまわせるような機能 | OK | OK |
| 検収項目を階層構造で扱える | OK | OK |
| インポート/エクスポート機能 | OK | OK |
| 検収項目の一括編集ができる | 基本的な要素は更新できる。タグが不可。一括置換はできない | 基本的な要素は更新できる。タグが不可。一括置換はできない |
| api操作 | OK | OK |
上記の表のとおり、どちらも当初求めていた機能レベルではできる事に違いはなく、いままでエクセルを使っていた人間からすると多少の操作感の違い以外わからないくらいでした。
強いて違いを挙げるならUIで、TestRailの方はRedmineライクでRedmineを使っている人なら馴染みがありそうなのですが、自分達はそこまでRedmineを使っていたわけではないこともありQaseの方がとっつきやすそうな印象を受けました。
また、フリープランの制限のゆるさも魅力的で、初めてテスト管理ツールを使ってみるかという自分たちにとってはとっつきやすかったこともあり、Qaseを使い始める事にしました。
試しに使ってみる
Qaseの概要や基本的な使い方についてはここでは説明しません。
興味がある方はこちらを参照ください。
まずは過去に作成した検収項目と同じものをツール上に手動で作成しながら、
今までエクセル上に書いていたものをツール上でどのように書いていくかを考えていきます。
暫定として、検収項目の記載漏れに気づきやすいだろうという狙いと、
システムの知見が少ない人でもツール上で検収項目が探しやすいようにという点から、
スイートを画面に対応させる構造で作成しその配下に具体的なテストケースを作成していく形にしました。
実際の操作内容などはテストケース内にStepsという形で記載していきます。
Actionに操作内容を、Expected resultに期待結果を書きます。
試してみる中でいくつか課題も見つかり、引き続き改善を行っていく予定です。
・複数画面を横断するような機能の場合にどちらの画面側のスイート配下に書くのか
=> トリガー側の画面側のテストケースに記載することに
・テストケースだけ見たときに機能の使い方がわかりにくいかも。ユースケースでも書けるといい
=> 検討中
機能比較時に気づいたことですが、インポート機能があるとはいえ過去の検収項目をそのままインポートすることはしませんでした。
ツール側のフォーマットに合わせる事が必要なのはもちろん、過去の検収項目に書かれている内容の粒度が案件や人次第で微妙に違ったため、そのまま無理やりインポートしても記載内容の観点が異なるので逆に把握しにくい状態になると考えたためです。
今まではエクセルファイル自体が異なることで項目に対する表記内容に揺らぎがあってもなんとなく許容できていたことが、同じツール上にひとまとめになることで顕在化した問題でした。
ツールの利用とは別軸で、検収項目の内容を意識するきっかけになりました。
試してみた感想・評価
1案件で本格的にテスト管理ツールを使ってみての感想です。
利用に協力してもらったメンバーにエクセルに比べてどうだったか答えてもらいました。
検収項目の作りやすさ
作りやすさについては、全体的にある程度向上したと考えています。
ファイル添付が出来る事についてはいままで出来なかったのでその恩恵を得られました。
一方で、1項目辺りの書きやすさに関しては半々程度の評価、
大量項目の書きやすさは悪くなったという意見もあります。
エクセルにおける行コピーや文字列置換がツール上で行えないため、
似たような検収項目を大量に作りたかったり、まとめて修正したいような場面では劣る面もあるようでした。
検収項目の実施しやすさ
実施しやすさについて、当初はテスト用のファイルが検収項目と紐づけられるメリットくらいしか考えていませんでしたが、実際に使ってみたところ想像以上に快適になった部分でした。
結果入力がエクセルと異なり画面のボタンクリックで済むことと、
テストケースの結果が確定した際に自動で次のテストケース画面に切り替わるためサクサク進める事ができました。
テスト結果やその進捗もダッシュボード画面でわかりやすく表示されるので非常に便利でした。
失敗した場合に画面キャプチャなども失敗結果とあわせて登録・管理でき、またバグチケットの作成みたいなこともできるので不具合管理としても使えます。
不具合は別システムで管理していることもあり使えていませんが、連携自体は可能なようなのでもっと楽にできそうな可能性を感じます。
一度作成した検収項目の内容確認や検索のしやすさ
検収項目の内容の確認しやすさ、検索のしやすさについても、
全体的にある程度向上したと考えています。
どのような検収項目があるかのわかりやすさについては、
全体的な構成や数などはスイートで管理することでわかりやすいものの、
テストケースのタイトル以下の情報（具体的な操作手順など）については画面構成上1つ1つ確認するしかないため、エクセルに比べるとイマイチな部分もあります。
検索やフィルタリングのしやすさについては、悪くなったという意見と良くなったという意見がありました。
使い方次第で不便な点があるのかもしれませんので今後改善していきたい点です。
まとめ
全体的に期待していた効果はある程度得られたように思います。
やはり、テストケースにそのテスト用のファイルが紐づけて管理できるのは便利でした。
また、テストランの確認がわかりやすいだけではなく、
各テストケースの結果入力が楽になったのは予想外にありがたい点でした。
エクセルの当該セルを選択して「OK」と入力して～と比べると、楽になるのは当然だなと今更ながら気づきました。
逆にツールを使うことで顕在化した課題として、
根本的にテストケースで何をどのように書けばいいのか・わかりやすいのかという点があったなと感じています。
この辺りはどのツールを使おうが関係ない本質的な問題だと思うので、継続して改善していきたいです。
Discussion