Devin使ってみてどうだった？ ～活用事例と導入時のポイント～ - connpass に参加した時の雑メモ。

スクショ画像などはは省略。

ざっくり概要

• SlackでDevinと話したらDevinのサイトにチャットの内容が転機されてる
• 実行ステップ、どこにどれくらいの時間がかかっているか見れる
• Devinの初回起動には90sほどかかる
  • @Devin でセッションを作成する
  • セッションごとに会話は区切られていて、セッションをまたいで覚えていない
  • ある程度覚えてなくちゃいけないことはKnowledgeとして記憶しておける

使用例

Ubie

• 2ヶ月で100件タスク依頼した
  • e.g.) 文言調整、DBスキーマ更新、CI/CDの更新、依存関係更新、リファクタ、ドキュメント更新
• これらをすべて非同期で、Slackで依頼するだけでやっておいて貰える
  • 1歳の子どもの世話しながらスキマ時間にDevinに依頼しておく
  • ミーティング中にタスクが必要になった瞬間に依頼して、ミーティングが終わったらタスクが終わっている状態
• 空いている時間にAIエージェントにタスクを入れていないともったいない感覚になってきた
  • → Devinを常に稼働させなくてはというリソース効率ギチギチの状態
• デザイナー、POなど開発環境がない人も作業できる（Salckで自然言語ぶん投げるだけなので）
  • → 開発者に閉じないので色々な人がコードに直接アプローチできるようになった
    • 要するに文言変更とかDesign修正とかのタスクは「気付いた人がやればいい」のハードルが劇的に低い状態
  • → 逆にエンジニアは自分たちにしかできないより深い部分にフォーカスすれば良くなった
    • バックログでchoreというラベルがついててベロシティが1のやつとか全部消し飛びそうでテンション上がる
  • 🔥 個人的にここらへんが一番熱かった 🔥

最近こんなツイートを見て素敵だと思いつつもそうそうやれることではないよな〜と考えた。
が、むしろ皆やれる状態になりそう。

https://x.com/sumiren_t/status/1888051012025675876

OSS

• コードリーディングさせている
  • この処理どこにある？どのファイルの何行目か教えてくれる

Backlog

• ファイルで管理して管理させておくとよしなに提案、編集してくれる
  • → シンプルにMarkdownで書いておけば良さそう

個人開発

• 自分のリポジトリを読んでよしなにやってくれるのでDevinにゼロから新機能を作らせている
• うまく行かないこともあるが圧倒的に試行回数が増やせる
  • スタートが「まず調べて...」ではなく「とりあえず一旦Devinに投げてみる」に変わった

ネガ要素

• 秘密鍵を漏らす
• キャプチャ画像をとってと言っても勝手にWebサーバーに画像をアップロードしてBasic認証をかけていた
  • 明示的にSlackに送るように指示するようにした
  • どうやらDevinがDevin内部でngrok的な感じでサーバー立ち上げて公開しているっぽい（要確認だが外部サーバーではないかも）
• 最初の方の指示を忘れるのでまずは小さいタスクから試して言ったほうが良い
  • でかすぎるタスクをやっていくとどんどん馬鹿になっていくイメージ
  • 人と話している感覚
    • ref: Devinで4万溶かす方法
  • → ものにもよるがやっぱ人間に対する指示（タスクの透明性）を高めるのと同じっぽい
    • とはいえ雑にタスクを投げてどこまでできるか見るのも大切
    • ここが人間とは違うところだな

とりあえずPrivate Repoしか触らせなければ安心そう。

更に深堀り

• MultiDevinというエンタープライズ向けの機能がある
  • つまりDevinがDevinに指示を投げる
  • タスクの分解、指示自体もDevinがする
    • → 再帰的にAIエージェント呼び出すのえっぐぅ
    • → 技術選定する時にAIとの親和性も考慮したほうが良かったりするのかな
• Cursor・Clineはスケールアップ
• Devinはスケールアウト。スケールアウトできるということはスケールインできる
  • 必要な時に必要な分だけ増減する、みたいなことは人間に対してはできない
    • → 確かにすぎ
• 泥臭くて大変なドキュメントとかは全部まかせて自分が楽しいところにフォーカスできるようになった
  • そうなると次はAIエージェントをいかに活かせるか、が大事になる
  • つまりやはりテストの重要性が増していく
  • それって新入社員が働い気易い環境と同じじゃね？
    • ちゃんとしたドキュメントがあるとか、動作確認の方法が揃っているとか...
  • とはいえDevinにKnowledgeを貯めるのは悪手なので、AIをうまく活用しながら暗黙知を明文化する運用が大切
• 250ACUはチュートリアある（1ACU = 15分）
  • タスクをいかに小さく、効率的なアプローチで投げるかは考える必要がある
  • SessionあたりのACUsが10を超えるとパフォーマンスが落ちるので、その前にPRを作らせて、それまでにやってきたこを出力させて次のSessionに食わせている
  • → AIにうまくタスクを投げられる人は人間のタスク管理とかバックログ管理（PO的なタスク）がうまそう

感想

• AIにアンテナ張ってなかったり使える人がいない会社ってなくなってくのかな、とか思ったけどそれはネットが出たときもそうか
  • 結局どの程度できるか対してわからないAI系のコンサルがたくさん出てくるだけか
  • ちなみにAccentureのAI系コンサルはOpenAIの利益より多いみたいなツイート見たな
• 自分が新卒だとして面接官に「君って月7.5万で3750時間並列稼働するDevinより価値出せるの？」って言われたら泣いちゃう
• やはりどのAIエージェントを使うことになっても使えるプレーンテキスト大正義なのでは
• 時代はAI駆動開発だ
  • そして力を最大限発揮するにはテストの重要性がより上がりそう
  • 逆にテストが無いとAIに書かせるの怖い