What's next for AI agentic workflows ft. Andrew Ng of AI Fund

この動画のまとめ
https://www.youtube.com/watch?v=sal78ACtGTc

Agentic Reasoning Design Patterns

1. Reflection
2. Tool use
3. Planning
4. Multi-agent collaboration

Reflection

https://arxiv.org/abs/2303.17651
https://arxiv.org/abs/2303.11366

Tool use

https://arxiv.org/abs/2305.15334
https://arxiv.org/abs/2303.11381

Planning

https://arxiv.org/abs/2201.11903
https://arxiv.org/abs/2303.17580

HuggingGPT

HuggingFaceにホストされている複数のAIモデルを組み合わせて問題解決する

• タスクプランニング：ChatGPTを使って、ユーザの要求を分析し、その意図を理解し、プロンプトによって解決可能なタスクに分解する。
• モデルの選択：計画されたタスクを解決するために、ChatGPTはモデルの説明に基づいてHugging Faceにホストされているエキスパートモデルを選択します。
• タスク実行：選択された各モデルを起動して実行し、結果をChatGPTに返します。
• レスポンス生成：最後に、ChatGPTを使って全てのモデルの予測を統合し、ユーザーへの回答を生成します。

https://www.youtube.com/watch?v=PfY9lVtM_H0

Multiagent collaboration

https://arxiv.org/abs/2307.07924
https://arxiv.org/abs/2308.08155

https://www.youtube.com/watch?v=yoAWsIfEzCw
https://www.youtube.com/watch?v=vU2S6dVf79M

https://github.com/OpenBMB/ChatDev
https://github.com/microsoft/autogen

感想

AIエージェントと組み合わせることでローカルLLMの価値が出てくるかもしれない
Iterationを何度も回すのでAPI料金がかからないほうがよい

• 精度が高いが遅いLLMよりもgroqのような高速にトークンを生成するLLMが重要になる
• 人間にとっては高速にトークン出ても読むのが追いつかないため価値が低い
• Agentは何度もイテレーションを回すため高速であればあるほどよい
• 精度が低いが高速なLLMでもAgent化してIterationを回すことで精度が高いLLMを追い越せる

• gpt-3.5 + Agentでgpt-4超えるという結果も出ている。
• DevinがClaude2を超えたという結果もAgent使っているから？
• OSS LLMがgpt-3.5くらいの品質が出ているなら期待できそうか

https://zenn.dev/loglass/articles/b9ee37737deb85