Zenn
😁

ChatDev: Agentsが語りあってソフト作るよ！祝1000ビュー

2024/08/13に公開
機会学習
ソフトウェア開発
LLM
chatdev
aiagent
tech

話すこと

  • 複数エージェントが語り合ってソフトを作るChatDevの解説
    論文読んで、自分が理解した内容です。違うとかありましたらご指摘願います。

読者対象

  • ソフトウエアをだれかに作ってもらいたい人
  • AIエージェントの活用例を読みたい人
  • IT技術者で、どうやって仕事していくべきか考えるヒント欲しい人

1. どんなもの？

  • ○○を作ってと頼むと、デザイン、プログラミング、テストの各工程を順番に複数のエージェントが語り合いながらソフトを完成させてくれるもの

2. 先行研究と比べてどこがすごいの？

  • 新規に比較用に作成した精度ですべてがベースモデルと比べて高い

  • 同じように複数の役割のエージェントが開発していくMetaGPTがあったが、こちらはプロンプトが固定である。ChatDevはエージェントのプロンプトを都度LLMで作成して柔軟になっている。

3. 技術や手法の"キモ"はどこにある？

  1. ソフト開発上の役割でエージェントに個性を与えている。
  2. 設計、コーディング、テストの段階を順に進めるウオーターフォールを使用
    　 各段階は細かいタスクに分かれる
  3. エージェント同士が語りあうことがすごく良い！
    　 各タスクでは２つの別々の個性のエージェントが指示者とアシスタントなり、語りあう
    　 アシスタントはよりよいタスク実施のため、要求をより明確にしていく

4. どうやって有効だと検証した？

  1. ソフトウェア要件説明データセット(30タスク * 40小分類）をLLM活用して作成。
    これを使って、GPT-Engineer,MetaGPTと比較
  2. 新たな3つの視点で評価とその総合評価を行った
    2.1 Completenessは、ソフトウェアのコード完成度
    2.2 Executabilityは、 正常にコンパイルされ、実行できるか？
    2.3 Consistency は、元の要件とどれだけ一致しているか?
    2.4 Qualityは、上記3つの指標を掛け合わせた値
  3. 人間とGPT4での評価も上
  4. できるファイルや行数は一つのエージェントのより大きく、それが完全性に良さそう

5. 議論はあるか？

  • アジャイルで進めていく方式もつくり、かつ最初にどちらかを選択するのも良い？
  • ペアで作業しているが、もっと多人数（多役割）の会議にも利点あるのでは？
  • 仕様から始めるのでなく、ビジネス企画や、課題解決からAI,IT使うなどもっと上流工程含めて自動できそう！　記事:課題解決にAIも考えてみよう！ とかも自動化できそう！

6. 次に読むべき論文はあるか？

論文情報・参考資料・次に読む？記事

あとがき

google analyticsで1000ビュー行きました！わーい！　
記事よかったら、いいね♡　押してね！

Discussion