MagicPod Autopilot を使ってみた（SODA編）

＼スニダンを開発しているSODA inc.の Advent Calendar 2025 5日目の記事です!!!／
＼MagicPod Advent Calendar 2025 5日目の記事です!!!／
＼オカウチワニが1人でやっている okauchiwani-hitori Advent Calendar 2025 5日目の記事です!!!／

こんにちは、SODAでQAエンジニアをしているokauchiです。

今回はMagicPodで新しく提供されたAutopilotを触ってみた話を書いていきます。公式サポートの記事を読みつつ実際に試して感じた部分や、どのようなタイミングで有効そうかも解説をしていきます。

MagicPod Autopilot とは？

MagicPod Autopilotの公式ドキュメントの説明をざっくりまとめると、こんな特徴があります。

• 自然言語での入力により、テストケースの作成と編集を可能
  　ノーコードツール導入のメリットとしてあげられる技術力のハードルをより下げられる
• 自律的な動作検証
  　ステップを作成しながら、Autopilot自身が画面を検証し、自律的にテストケースを作成する

つまり「E2Eテストスクリプトを作る」のではなく、「指示をして作ってもらう」というアプローチです。ノーコードのE2Eテスト導入のメリットとして、技術力がなくても作成が出来るということがよくあげられますが、その裾野がさらに広がったように感じられます。

SODAの環境で実際に使ってみた

Autopilotの実力を知りたかったので、ゼロショットプロンプティングをしてみました。
[実際のプロンプト]
以下の情報を入力して会員登録が完了するまでのステップを作成してください。
• メールアドレス: 共有変数のUSER_MAILADDRESS
• パスワード: 共有変数のUSER_PASSWORD

※共有変数とはテスト実行で使い回しが出来るグローバル変数のようなものです。

作成されたテストケースはこちらになります。

触ってみた第一印象

アプリでのインストール直後の起動時、スニダンでは興味のあるカテゴリーを選択する画面に入ります。その後もアプリの通知設定などを経て、マイページから会員登録をすることが出来るのですが、何も前知識なく会員登録画面までの遷移をステップ化していました。画面上から表示されているボタンやリンクを読み取り、おそらくマイページから会員登録が出来るだろうという推測をして辿り当てたというわけです。他の生成AIサービスと同じように自律したエージェントとして動作する、それがステップの作成、実行→画面の解析→ステップの作成・・・と続いていくのは見ていて面白いです。

実際に生成されたステップを見てどうだったか

このスクリプトと生成されたテストケースは本当にSODA内で初めての利用でした。学習ゼロでここまでの精度が出せるのであれば、バイブコーディング的にまずは作らせてから人の手で修正という手を取る方が生産性は高くなりそうです。MagicPodに限らない話ですがE2Eテストスクリプトの作り方としては、画面上の要素を確認する→操作するステップを追加→次の画面で要素を確認する・・と続いていくので、それをエージェントに任せられるだけでも強みはありそうです。

費用について

MagicPodはテスト実行自体には費用がかからないE2Eテストツールで、安く導入しやすいというメリットがウリの1つでもあります。ただしAutopilotは有料の機能になります。AIクレジットと呼ばれるクレジットを利用し、前述の会員登録のテストスクリプトで2.7296クレジットを利用しました。1クレジットが税別100円(記事執筆時点)とのことなので、およそ300円弱ということになります。（有料のクレジットとは別に、毎月無料利用のクレジットが付与されます）
これを安いと捉えるかはそれぞれだと思うのですが、費用をかけることで知識がゼロの状態でもそれなりのテストスクリプトが作成出来る選択肢が取れるようになったのは大きいですね。一方でE2Eテスト自動化でありがちなシナリオをたくさん作ったが運用の仕組みが甘く宝の持ち腐れになってしまわないように運用は人がしっかり考えていきたいですね。

まとめ

MagicPod Autopilotは"E2E テストを書く"を"E2Eテストを作ってもらう"体験に置き換えてくれるすごく面白いアプローチでした。使い方によってより組織のテスト自動化を後押しするような手段になり得そうですし、ゼロから作ることが減るというのは少人数で自動化を進めようとしている組織では強い味方になってくれそうです。