Open2
LlamaIndexのMixture-Of-Agents Packを試す
kun432
Mixture-Of-Agents Pack
Mixture-Of-Agents Pack
TogetherAIのMixture-Of-Agents論文をLlamaPackとして実装した。
免責事項：論文では「Mixture of Agents（エージェントの混合）」と名付けられているが、エージェントは実際のエージェント行動ではなく、LLMそのものを指しているようだ。
アプローチ
LLMの能力は著しく進歩しており、現在では利用可能なLLMモデルの数が増えている。LLMの可能性を最大限に引き出すためには、複数のLLMの専門知識を結集する必要がある。そこで登場するのがMoA（Mixture-of-Agent）アプローチである。
MoAアプローチは、各レイヤーが複数のLLMエージェントで構成されるレイヤーアーキテクチャである。これらのエージェントは、前のレイヤーの他のエージェントの出力を補助情報として受け取り、応答を生成することで協調する。このコラボレーションにより、エージェントは互いの強みを生かしながら、より洗練された回答を生成することができる。このプロセスは2つの役割に分類できる： 提案者（ベースLLM）は多様な文脈と視点を生成し、集約者（参照LLM）はこれらの提案を単一の高品質なアウトプットに合成する。追加のアグリゲーターを導入し、回答を反復的に洗練させることで、MoAアプローチは複数のLLMの共同作業の可能性を最大限に引き出し、優れた成果をもたらすことを目指している。
notebook
kun432Workflowsを使って中身が書き直されてるっぽい
LlamaPackだと中身をいじれないことも多いので、コードを参考に自分で実装するのが良いかも。