Claude・Codex・CopilotによるPRレビュー
前書き
はじめに
こんにちは!ambrでRoblox開発をしているhoshinoです!
AIエージェントの発展が著しい今日このごろ、皆さんいかがお過ごしでしょうか?
あまりにも高速にコードを生成するので、弊社Roblox開発チームではレビューが追いつかない問題が発生しました。
そこで、レビューもAIエージェントにやらせてみようと思い立ち、思い立つままに、Claude・Codex・GitHub Copilotでのレビューを同時に試験導入してみました。
本記事では、やってみた所感をご共有します!
本題: Claude・Codex・CopilotによるPRレビュー
設定
それぞれの設定方法をご紹介します。ただし、AIツールは進化の速度が激しいので、記事執筆時点における各公式サイトの設定方法ページへのリンクに留めます。
レビューフローの変更
まだ試験導入期間のため、完全にAIエージェントにお任せはしていません。
-
旧フロー
- PRが開かれる
- CIを通過する
- 人の手によるレビューを通過する
- defaultブランチにマージ
なんてことはないよくあるレビューフローかと思います。
-
新フロー
- PRが開かれる
- Claude・Codex・Copilotによるレビューに対し、最低一往復は対応する
- CIを通過する
- defaultブランチにマージ
- 人の手によるレビューと問題があればIssue化
新フローでは、なんと人の手によるレビューを通過する前にdefaultブランチへのマージを許可します。
全体感
メリット
-
レビューフローを変更したことにより、人の手によるレビュー待ちタイムを取り除くことができました。
- これまでは、レビュー待ち中にはそのPRと関連性の低いタスクをしたり、レビュー通過を念頭にPR中のブランチから作業ブランチを切って作業したりしていましたが、その必要がなくなりました。
-
nitpickな内容をレビューするかどうか悩む回数が減りました。
- コメントするかどうか悩むようなnitpickについて、AIのレビューを参考にして判断できるようになりました。
デメリット
-
AIレビューが完璧でないことは受け入れる必要があります。
- レビューの前提となるコーディング規約などのドキュメントが完全でないと、人と同様AIのレビューもブレます。(もちろん完全であってもブレはあるでしょう。)
- AIごとの癖(後述)を把握する必要があります。
-
レビューの総量はそこまで減りません。
- 現在は人の手によるレビューを完全に取り除いてはいないので、あくまでレビュー待ち時間を減らせるに過ぎません。
各AIエージェントに対する感想
現在は、ほぼ初期設定のまま使っており、練度の高いプロンプトは用意していません。その状態での感想となります。
Claude
- PR全体を俯瞰した包括的なレビューをしてくれます。
- そのPRがApproveに足る状態かも判断してくれます。バランスの良いリーダー的なAIです。
Codex
- 他と比べ、技術的な指摘事項が多めのレビューをしてくれます。
- GitHub Copilotと比べると、やや広い視点でのレビューに感じます。
- 時に、今の実装を丸々書き換えるよう促すようなある意味でぶっ飛んだ(?)レビューをすることもありました。
- 高いスキルを持ったエンジニアのようなAIです。
GitHub Copilot
- 他と比べ、細かな書き方の指摘を多めにしてくれます。
- Codexと比べると、言語の書き方に関する指摘が多いです。
- 細部のコード品質の向上に一役買ってくれるAIです。
おわりに
本記事では、Claude・Codex・GitHub CopilotによるPRレビューの自動化について、試験導入した所感についてまとめました。
現時点では全く人のレビューをなくすことはできていないものの、一定の効果を上げてくれました。
今後は、プロンプトやCLAUDE.md、AGENTS.mdなどを洗練させることで、更に精度を上げていければと思っています。
以上、最後まで読んでいただきありがとうございました!
Discussion