CLIテストカバレッジ維持とE2Eテスト実装 （開発日記 No.097）
関連リンク
はじめに
昨日はCLIモジュールのテストを安定させ、カバレッジを84%まで向上させることができました。テストが全件パスするようになり、CLIの基盤部分の品質には一定の手応えを感じています。
今日は、このテストカバレッジを維持・向上させつつ、さらに一歩進んでアプリケーション全体の利用フローを確認するためのE2E（エンドツーエンド）テストの実装に挑戦しました。
背景と目的
これまでのテストは主に単体テストや結合テストが中心でした。これらは個々のモジュールや機能の正しさを検証するには非常に有効ですが、実際にユーザーがCLIツールとして利用する際の全体的な流れや、異なるモジュールが連携して動作する様子を確認するには不十分です。
そこで、今回はE2Eテストを導入し、CLIツールを実際にコマンドラインから実行する形式でテストすることで、よりユーザー視点に近い品質検証を行うことを目指しました。これにより、アプリケーション全体の安定性や使い勝手を確認し、品質保証体制をさらに強化することが目的です。
検討内容
E2Eテストを自動化するためには、いくつかの課題がありました。特に、外部のLLMプロバイダーに依存する部分は、テストのたびに実際のAPIを叩くわけにはいきません。
この課題に対しては、テスト用の「ダミーLLMプロバイダー」を用意し、実際のLLM呼び出しをシミュレートする方針を検討しました。また、CLIの出力保存機能やプロンプトの仕様についても、自動テストで扱いやすいように一部修正が必要になることも想定しました。これらの調整を通じて、安定して繰り返し実行できる自動テスト環境を構築することを目指しました。
実装内容
本日は、主にE2Eテストの基本変換フローに関する実装を進めました。具体的には、TDD（テスト駆動開発）のサイクルでテストコードを先に書き、それに合わせてアプリケーションコードを修正・実装していく形で開発を進めました。
ダミーLLMプロバイダーの実装や、テストで出力ファイルを検証するための仕組みを整え、CLIの基本的な変換コマンドが意図通りに動作し、正しいファイルが出力されることを確認するテストを作成しました。
テストがパスした後は、これらの変更をmainブランチにマージしました。GitHub Actionsで設定しているCI（継続的インテグレーション）も無事全件成功し、自動テスト体制が機能していることを確認できました。
また、関連するIssue（#5, #8, #4）にも今回の進捗状況をコメントとして追加し、開発状況を共有しました。
技術的なポイント
E2Eテストの自動化における重要な技術的ポイントは、外部依存の排除です。今回のケースでは、LLMプロバイダーへの依存を、テスト用のダミー実装に置き換えることで、外部APIの応答時間や課金、ネットワークエラーといった不確定要素を排除し、テストの安定性と実行速度を確保しました。
また、CLIの実行結果（標準出力やファイル出力）をプログラム的にキャプチャし、期待される結果と比較検証する仕組みも、自動E2Eテストには不可欠な要素です。これらの仕組みを整えることで、CLIツール全体の利用フローをコードとしてテスト可能にしました。
所感
E2EテストがCIで無事パスした時は、CLIツールとして基本的な機能がユーザーの操作通りに動くことを確認できた安心感と喜びがありました。単体テストだけでは見つけにくい、モジュール間の連携や実際の入出力に関する問題を発見できるのがE2Eテストの強みだと改めて感じました。
一方で、E2Eテストは単体テストに比べて実装や実行環境の準備に手間がかかることも実感しました。また、新規機能を追加する際に、既存のテストカバレッジを維持しつつ、E2ってテストシナリオを適切に追加していくことの難しさも感じています。品質保証体制を強化するためには、様々なレベルのテストをバランス良く整備していくことが重要だと改めて認識しました。
今後の課題
E2Eテストについては、今回実装した基本変換フローだけでなく、テンプレートやモデル指定機能、エラーハンドリングなど、様々なシナリオを追加していく必要があります。
また、他の主要モジュールのテストカバレッジ向上、テスト設計全体のさらなる見直し、そしてユーザー向けのドキュメント整備も引き続き重要な課題として残っています。
まとめ
本日は、CLIテストのカバレッジ維持に努めつつ、アプリケーション全体の利用フローを検証するためのE2Eテストを実装しました。基本変換フローのE2EテストをTDDで完了させ、CIでの成功も確認できました。
これにより、CLIツールのユーザー視点での品質検証が可能となり、品質保証体制をさらに一歩強化することができました。今後はE2Eテストのシナリオ拡充や、全体のテストカバレッジ向上、ドキュメント整備を進めていきます。
Discussion