Open11
Autify調査
ダン@HyperForm
ブラウザ操作を記録するだけでテストがノーコードで誰にでも簡単に作れます👍
非エンジニアや入社まもないメンバーもすぐにテストを作り始めることができるのでテスト自動化をスケールさせられます
最大10並列のクロスブラウザテストでテスト頻度とカバレッジを最大化。作成したテストシナリオを複数ブラウザで同時に検証できます。ブラウザに応じてシナリオを用意する必要はないので、同じリソースでテスト頻度とカバレッジを最大化できます
リリースの度に変更されるUIの変化を監視し、テストシナリオを自動的にアップデートします。壊れたテストスクリプトをひとつひとつ直す作業はもう必要ありません
ダン@HyperForm料金
Small、Advance、Enterpriseの3プラン。
金額は公開されておらず、要問い合わせ。
ダン@HyperForm疑問
- Capibaraとかでテスト作る場合と比較した、メリットとデメリット
- 結局いくらかかるの?
- 欠点とか微妙な点はどこ?
-
SNSログイン周りとかもいい感じにテストできるの?- 現状はできない
-
数値計測に影響でない?- でる
-
投稿やユーザー作成等をした場合、実際のDBには反映される?- される
ダン@HyperFormユーザーの声抜粋
- コード書けない人でも簡単に使えて、短期間でスムーズに導入できた
- Autifyのサポートチームが色々教えてくれるから活用すると良い
- デプロイするたびに、Autifyが自動的にテストを実行するように設定できた
- 手動でテストしてたけどキツかったからAutify導入した
- 多少のUI変更の場合、テストが落ちるんじゃなく「ここのUI変わったけど、これ大丈夫?」と聞いてきて、回答するとテストを修正してくれる
- その他全体的に、マイナーチェンジした時のテストの書き換えが楽
- メール認証は対応できるっぽい
- どういうシナリオのテストをしてるか視覚的にわかるので、オンボーディングにも役立つ
- Seleniumのメンテに工数がかかってた
- トライアル3ヶ月あった
- クロスブラウザで確認したいとなった時、Autifyを使わない選択がなくなった
- Autifyを使ったテストは「人に依存しない」ところが良い
- スマホ端末のテストがしやすいのも良い
- 以前が手が回らなかったところもテストできるようになった
- オートヒーリング機能(テストをいい感じに修正する機能)が強い
- iDaaSとか外部サービスが死んでることにも気がつきやすい
- 銀の弾丸はないから「何を解決したいか」をちゃんと掘り下げて考えると良いよ
- 「問題ないのにテストが落ちる」ということがほとんどない点が良い
- hoverイベントとかも普通に対応していて、特に工夫せずにやりたいことができたのがよかった
- UIがわかりやすい
印象
- 誰でも使える
- 人が入れ替わってもメンテできる(Selenium職人が生まれない
- エンジニアじゃなくても使える
- 軽微な仕様変更があったときの、テストの修正が楽
- テストのメンテナンスとかについて、エンジニア以外のメンバーの理解が深まりそう
ダン@HyperForm
Autify RecorderというChrome Extensionを使って、ブラウザ操作だけでシナリオを作成できます。
テスト結果が「成功」「失敗」「要確認」の3種類。「要確認」で小さく壊れてくれるので、メンテナンスが楽。
ダン@HyperForm
フォーム入力でランダム性が必要なところはJavaScriptで数値を出して取得しています。
ダン@HyperForm使い方動画
ダン@HyperFormSNS認証のテストはできなさそう
ダン@HyperFormGoogle Analyticsの計測に影響を及ぼすか
及ぼす。その辺は手動でテストするのと同じ。
会員登録のテストした場合も、会員が追加される。
ダン@HyperForm良さそうなところ
- 属人性が生まれにくい
- 非エンジニアでもメンテナンスできる
- 複数ブラウザ、複数端末のテストが楽にできる
- 軽微な仕様変更があったときの、テストの修正が楽
- 「謎に落ちる」ことが少なそう
- capybaraとかより、さらに本番に近い環境でテストできる
- サポートが充実してる
微妙そうなところ
- SNS認証が絡むテストはできなさそう
- 一部できないことがあると、結局手動テストも併用することになる
- あくまで手動テストの代替なので、本番のURLを指定して動作確認すると、PV数やDBの値に影響を及ぼす
- ステージング環境を用意してそこで実行する必要がある
- 料金高そう