続・動画をインプットに不具合再現手順を生成AIに書いてもらおう

こんにちは、SODAでクオリティエンジニアをしているokauchiです。

今回は以前記事にした不具合再現手順を生成AIの力を借りて楽に書こうを実際にやってみた結果をシェアします。試作段階のプロンプトでのトライアルでしたが、やってみることで「想定と違ったこと」や「改善の余地」が多く見えてきました。

実際にやってみて見えてきたこと

直近で検出した不具合20件弱を対象に、動画から手順の文字起こしを試みました。その際、動画が長くならないように「どの画面から読み取るか」をあらかじめ指定するなど、小さな工夫を入れています。

率直に言うと、作業時間は通常の1.5倍ほどかかりました。慣れれば改善できる余地はあるものの、現状ではスピード面では不利です。ただし、フォーマットが揃った形で出力されるためレビューや修正はかなり楽になり、「粒度を揃える」という点では手応えを感じました。

一方で、「全件をこの方法でやる必要はない」とも感じました。むしろ、教育目的や再現が難しいケースに限定して使う方が効果的かもしれません。

出力の課題や限界

一番苦労したのは画面名です。AIが出してくる画面名と実際のアプリ表示が微妙にズレることが多く、修正作業が発生しました。画面名と画面表示をトレースできる仕組みをインプット側で用意できれば、精度は上げられそうです。

また、不具合そのものの記述についても限界を感じました。AIは「最後にどんな不具合が起きたか」を書き出してくれるのですが、正しい挙動を知らないため、的外れな表現になることがありました。結局、不具合の核心部分は人が判断して補う必要があります。

このように「粒度を揃える」ことはできても、「正しさを担保する」ことはAI単体では難しい、というのが今回の学びです。

次に試してみたい工夫

課題が多かったとはいえ、方向性は悪くないと感じています。改善ポイントとしては以下を検討しています。

プロンプト改善：修正の手間を減らすために、出力フォーマットや前提情報をより明示する

利用シーンの絞り込み：全件ではなく、教育や難再現ケースに限定して運用する

追加情報のアウトプット：ログインアカウントや実行時間など、解析に役立つ情報も出力対象に含める

まとめ

今回のトライアルで強く感じたのは、「生成AIで不具合手順を自動化できる部分と、人の判断が不可欠な部分を分けて考える必要がある」という点です。

スピードや正確さの面ではまだ課題が多いですが、教育コスト削減や報告粒度の統一といった効果は十分に狙えます。大切なのは「どの場面で使うか」を見極めること。そのバランスを意識することで、AIをうまく現場に取り入れていけるのではないかと思います。