Devinに「URLを全部書き換えて欲しい」とメンテナンスをお願いしてみた

はじめに

MESONでは自律型 AI エンジニア Devin を導入してみています。

今回、Devinに社内テックブログのURL修正のメンテナンスをお願いしてみました。
やりとりの流れを覗いてみましょう。

💡 きっかけは「アクセスできないURLあるかも...」

Devinにお願いしてみようと思ったきっかけとして、社内でこういったやりとりがありました。

これを見て「あー、そういえばリブランディングした時に会社ホームページのディレクトリが変わったから、テックブログにアクセスできないURLあるかも...」と気づきました。また、せっかくDevinを導入したタイミングだったので、非常に簡単な作業ですがDevinと戯れてみるついでにURLの書き換えをお願いしてみました。

🛠 Devinにお願いした作業内容

今回、明確にアクセスできないURLがあったので、以下のように作業をお願いしてみました。

弊社のテックブログは、ZennをGitHubリポジトリと連携して執筆できるようにしているため、リポジトリの中身を見てもらってPR作成までお願いしました。（AIと共同作業する時に、まだ信用し切れていない気持ちの現れか、トレイリングスラッシュの補足を加えてみたり。）

そして、Devinが作業に取り掛かってくれます。

🔍 並行して「他のアクセスできないURLチェック」もお願い

作業をお願いした直後に、ふと「他にアクセスできないURLないのかな？」と思い、Devinに追加で確認をお願いしてみたところ...

URLをスキャンして確認できるとのことで、これは人間がチェックするには手間がかかる作業のため、Devinにお願いできるのであれば嬉しいかもと思いました。

そして、以下のような報告を上げてくれました。

一覧でわかりやすく提示してくれたのもよかったですし、このチェックのおかげで他に書き換えして欲しいURLにも気づけました。

🧐 PR確認してマージして完了と思いきや...！

その後、Devinが対応したPRを出してくれました。

PRの内容を確認して大丈夫だったのでマージして終わりかなと思いつつ、
念のためgrepコマンドで確認してみたところ、いくつか残っていることに気づきました。

PRの修正自体はよかったのですが、そもそもPRに含まれていないところの漏れは別途検知するような作業が発生してしまったのは少し課題が残る印象でしたね。

実はgrepする前に念のため確認のやりとりはしていましたが、それでも漏れてしまいました。

無事に修正してもらい、マージして完了しました。
そして、今回はこのような流れでDevinとのやりとりは終えました。

🤖 Devinに作業をお願いしてみて感じたこと

• 後回し作業を気軽にお願いできる

緊急ではない作業や、後回ししてしまう作業をDevinに気軽にお願いできるのはよさそうだと感じました。簡単な作業だけど自分にやるにしてはテンション上がらないとか、他メンバーにお願いするほどのことでもないけど、みたいな作業はDevinにお願いしちゃいましょう。

• 隙間の時間にお願いするだけ

隙間の時間にDevinにお願いしておけば、あとは勝手に作業を進めてくれるのは嬉しいですね。プロジェクト等でもタスクを切り出してお願いしておいて、自分の作業が終わって確認したらDevinの作業も完了してる、という形で活用することもできますね。このあたりは自律型AIエンジニアを謳っている所以でもあって改めて良いと思いました。

• PR作成まで頼める

DevinはGitリポジトリを認識して開発作業もできますし、文章構成も内容も綺麗に書いてPR作成までやってくれるのも良いですね。CIツールを絡めることでPR作成できることの活用の幅が広げられそうです。

• URLのアクセス確認は便利かも

途中にも記載しましたが、URLのアクセスをチェックするのは人間がチェックするにしても手間な作業なため、担ってくれるのは意外と便利でした。チェックしたURL一覧表示も分類などしてくれてわかりやすくて助かりますね。

• 見落としてしまうこともあるよね

LLMに触れていると思った内容にならない等よくあることですが、今回も最初のお願いでURLを全て書き換え切れていなかったりしました。もしかすると、URLのアクセス確認にも漏れがあった可能性がありますね。このあたりはKnowledgeなど、Devinの機能をしっかり使いこなせていければ吸収されるのでは、とも思いました。

また、今回お願いしてみた作業がそこまで難しいことではないので、見落としがあると性能に疑問を持つかもしれませんが、弊社内ではアプリケーションの実装等の活躍もしています。

• sedコマンドでよかったかな

これは、そもそも今回お願いした作業が適切ではなかったかもしれませんが、Devinとチャットでやりとりしながらも脳内では、sedで書き換える方が早いし確実かなと思っていました。ただ、今回はせっかくの導入タイミングだったので、Devinと戯れてみるということでお願いしてみました。

• おまけ

おわりに

今回、DevinにテックブログのURL修正のメンテナンスをお願いしてみました。メリットを感じられてはいるものの、かゆいところに手が届かない印象もまだありますね。ただ、このあたりはプロンプトの工夫やKnowledgeなどの使いこなし具合によっても改善の余地があると感じています。

今後も何かしらの作業をお願いしてみたいと思います。

書いた人

安藤 正仁

C向けの自社プロダクトを開発・運営するベンチャーにて、Webエンジニアとしてバックエンド・フロントエンド・インフラも少々と様々な領域を経験。その後、XRを扱う企業にて、WebバーチャルファションショーやスマホARなど、XRのアプリ開発をいくつか経験。フリーランスになりMESONで業務委託としての携わりを経て2022年7月に入社。

X

MESON Works

MESONの制作実績一覧もあります。ご興味ある方はぜひ見てみてください。

https://www.meson.tokyo/cases