Autifyについて調べたことのまとめ
ググって、トライアルして、担当者に話を聞いてわかったことのまとめ
Autifyとは?
- 手動テストを自動化するサービス
- GUIで完結するので、非エンジニアでも使える
使い方
この動画がわかりやすい
Selenium/Capybara等を使ったE2Eテストとの比較
メリット
- 複数ブラウザ、複数端末のテストが楽
- テストのためにDOM要素にidをつけたりしなくて良い
- ちょっとした仕様変更があったときの、テストの修正が楽
- オートヒーリング機能
- 「謎に落ちる」ことが少なそう
- より本番に近い環境でテストできる
- 非エンジニアでもメンテナンスできる
- 属人性が生まれにくい
- 困った時にサポートに相談できる
- 同じテスト(群)を本番環境、ステージング環境、PRごとの検証環境などURLを切り替えて簡単に実行できる
デメリット
- 金がかかるし、結構高い
- インターネットを介してテストするので、ローカルでちょっとした修正をするたびに気軽にテストを実行する、みたいな使い方は難しい
当初の疑問とその答え
料金はいくら?
担当者に見積もりもらったけど、具体的な金額はホームページ上公開されてないからボカして書く。
1番ミニマムで使う場合、年契約で、中堅フリーランスエンジニアの年商の1/10くらい。
個人開発で使うには厳しいけど、エンジニアが5人以上いるようなチームではペイするケースも多いかな?という印象。
本番環境のデータとか、アクセス状況とかに影響出ない?
出る。あくまで手動テストの代替。
固定IPのオプションを付ければ、GoogleAnalyticsの計測からは除外できる。
あとは会員登録とか投稿とか、データを追加するようなテストはステージング環境で実行して、それ以外は本番環境で実行する、みたいな使い方になりそう。
ドメインを切り替えて、同じテストを実行するとかできる?
できる。
複数のテスト内のURLを一括置換した状態で実行する機能がある。
これで「普段はステージング環境でテストしてるけど、今出してるPR用の環境でだけすぐにテストを走らせたい」みたいなケースにも対応できそう。
メール認証が絡むテストはできる?
できる。
メールを使用したテストは出来ますか？ - Autify for Web Help Center
メール認証を伴うテストはできますか？ - Autify for Web Help Center
SNS認証が絡むテストはできる?
Googleログインはできない。
Facebookログイン、Twitterログインはできるらしい。
LINEログインは、PC限定のアカウント(電話番号との紐付けがないアカウント)ならできるらしい。
SMS認証が絡むテストはできる?
現状はできない。
SMS認証には対応していますか？ - Autify for Web Help Center
APIはある?何ができる?
ある。
テストの実行、実行結果の取得、テストを実行するURLの操作などができる。
これらを使うことで、実行結果を通知したり、CI/CDにAutifyを組み込んだりすることができる。
API連携 - Autify for Web Help Center
AutifyでCI/CD - 動的に生成される環境にもAPIで自動テスト実行 - Autify for Web Help Center
結果を通知する機能はありますか？ - Autify for Web Help Center
導入事例の記事でよく言われていたこと
- 簡単に導入できる
- UIがわかりやすい
- 非エンジニアでも使える
- サポートが手厚い
- 仕様変更の際のテストの修正が楽
- 謎に落ちるとか、変な不具合が少ない
- QAチームがやってた手動テストの負担減らせた
- Seleniumのメンテ辛かったけど、Autifyにしたら楽になった
所感
テストのために実装を工夫したり、テストコード自体の理解に時間がかかったりすることが結構あるので、そこが解決できそうなのは嬉しい。
Capybaraとかだとテストのメンテナンスも大変だけど、導入事例を読む限りみんなメンテナンス性を高く評価してる印象なので、そこも期待できそう。
調べた&トライアルした&担当者に話を聞いた限りでは好印象。あとは実際使ってみてどうなるか。
調査ログ
Discussion