0→１のプロダクト開発におけるテスト自動化の課題
現在、株式会社コルダスでは社宅の契約業務をDX化するSaaS「ShataX」の開発を行っています。 ０→１でプロダクトを開発する際のQAの課題として、「テスト自動化の仕組みを構築するのであれば出来るだけ早い方が良いが、フェーズ的にQAに沢山のコストをかけられる段階ではない」 というジレンマがありました。もちろん、バックエンドのある程度ロジックが複雑な関数など、ROIが高そうな部分については単体テストのコードを書いているのですが、現段階ではSeleniumなどを使ったE2Eテストや、vitestを使ったフロントエンドの単体テストはコスパ的に微妙かなというのが正直なところでした。(0→1の開発段階の為、変更が激しいというのもあります)
レコーダーを使ったE2Eテストの作成
そこで、レコーダーを使ってブラウザの操作を記録し、テストケースを作成するタイプのプロダクトの使用を検討し、まずは国内で有名なプロダクトを試してみました。試してみたところ、テストコードを書くよりもかなり効率良くテストケースを作成することができ、E2Eテストの性質とGUIでのテストケースの修正や管理との相性がかなり良いと感じました。このタイプのサービスを、0→１のプロダクト開発に取り入れるメリットとして個人的に感じるのは
- 1.テストコードを書くよりも圧倒的に楽で早い
- 2.録画したシナリオをローカルで再生することができるので、ローカルでのテストにも使用できる
- 3.録画して溜まっていくテストシナリオ自体が、プロダクトの仕様やユーザーフロー集としてのドキュメントになる
特に3番に関してなのですが、仕様やフローが少し複雑になってくると、開発者ですら一瞬「これってどうなってるんだっけ？」ってなる事はよくある事だと思うので、自動テストでQAを行いつつ、プロダクトのユーザーフロー集のドキュメントを作成できるのは良い事づくめのように思われます。
国内のプロダクトの費用感について
上記のように、0→１の段階のプロダクト開発において、レコーダーを使ってブラウザの操作を記録するタイプのE2E自動化ツールはとても魅力的に思われたのですが、問題となってくるのが料金面でした。具体的な費用を公式サイト上に掲載している国内のサービスとしては、「MagicPod」があるのですが、年契約で月¥43,780、月契約だと¥54,780/月となっています。(テスト実行回数が無制限なのはありがたいです。)
人類最強のE2Eテスト自動化ツール「bugbug」
国内のサービスは日本語のサポートもありますし、そこそこの値段でもペイできる位の効果はあるのではないかと思うのですが、クラウドでサーバーを動かす機能を最低限の料金プランに入れずにもっと費用を押さえたサービスがあるのでは？という疑問がありました。
最初は「Selenium IDE」なども試してみたのですが、機能や使いやすさの点においてやはり敵わないと感じました。そこで、海外のプロダクトをいくつか調べたところ 「bugbug」 というプロダクトを発見しました。こちらのプロダクト、LPのトップページに、「Free forever」の記述があり、Pricingページにあるfreeプランの内容も、本当にこれが無料でいいのか!という内容になっています。フリープランの内容に「Unlimited local tests runs」も含まれており、無料でここまで出来るのは今だけなのではないかと疑うレベルです。クラウドでテストを動かすプランも月49$で実行回数無制限となっており、かなり割安に思われます。これはもはや異常です。
(2023/11/30 追記)49$→99$に値上げしたようです。
まとめ
個人的にbugbugがとんでもないプロダクトなのは間違いないのですが、日本語によるサポートも然り、クラウド上で実行したテスト結果の動画の保存など、他のサービスに出来ても、現時点ではbugbugに出来ない機能もあるので、いくつかのツールを実際に試して検討してみるのが良いかと思います。
Discussion