Pull RequestをAIにレビューさせるのはまだ早かった
エンジニア組織の開発生産性・開発者体験向上の取り組みをシェアしよう！ by Findy Advent Calendar 2023の15日目です。
結論
導入から5ヶ月経ちましたが、Pull RequestのレビューをOpenAIにさせたいのですが、まだ精度がいまいちでした。
しかし、OpenAIにPull Requestをサマライズさせることはよくて、Pull Requestのレビュワーの負担を軽減できることがわかりました！
OpenAIがレビューしてくれるの便利じゃね？
2023年の7月にこんなツイートを見つけました。
めちゃくちゃワクワクしたのを覚えています。
レビューもOpenAIにやってもらえれば、ありがたいっていう気持ちで導入しました。
具体的な導入の手順は、下記を参考にしながら、導入を進めました。
実際どうだったか
まずは入れてみて、社内のエンジニアにヒアリングしてみました。その結果は以下です。
レビューのチューニングが必要で、間違った指摘や単純な事項の確認も多いので、チューニングが必要ということなので、チューニングを進めてみました。
なので、以下のようにチューニングを進めてみました。
- サマライズ系は残す
- レビューのコメントは多すぎる
- nitsなコメントのみをレビューしてもらう形にする ex) console.log、typo、使っていないimport
- コメントの数を1PRでは、10個以下とかにするように修正する
レビューはいまいちだった
上記のとおり、チューニングしてみたのですが、やはり間違ったレビューコメントや、ただの確認などが多く残ってしまったので、一旦レビューは諦めました。
しかし、サマライズがよい！
こんな感じで、Pull Requestのサマリーや変更箇所の特定の精度はかなりファイル変更数があってもピカイチです。
レビューイーは、Pull Requestの詳細を書く時間が少なくなり、効率的に開発を進められます。
レビューワーはどのファイルで、どういう変更があったのかの概要を把握してからレビューに入れるので、レビューの勘所も掴みやすくなっております。
そしてポエムが良い
Pull Requestに対して、ポエムを書いてくれ！っていう設定をしたのですが、これがめちゃ好評でした。
ほっこりする気持ちになります。
そして、本家のCopilot for Pull Requestsでもポエム機能があるようですｗ
有料のCodeRabbitを試してみたい
弊社ミチビクでは、下記のOSSを利用しています。
今はCodeRabbitという名前に変更されて有料版があるようなので、こちらを試してみて、レビューに関しても再挑戦してみたいです。
最後に
最後までお読みいただきありがとうございました。
ミチビク創業者取締役CTOの金杉優樹と申します。
ミチビクは、取締役会DXのSaaSをつくっていて、メガエンプラをターゲットとして、グループ会社を含め取締役会の運営効率化をしています。
Discussion