Beyond Natural Language: LLMs Leveraging Alternative Formats forEnhanced Reasoning and Communication

https://arxiv.org/abs/2402.18439

1. どんなもの？

• Large Language Models (LLMs) における自然言語 (NL) 以外のフォーマットの活用を探る研究
  • 単一LLMの推論とマルチエージェントコミュニケーションにおいて、LLMが最適なフォーマットを自律的に選択することの有用性を調査
• 限られたタスク指示からLLMがフォーマットを考案できることや、考案されたフォーマットが異なるLLM間で効果的に転移可能であることを明らかにした
• コードは https://github.com/thunlp/AutoForm で公開

2. 先行研究を比べてどこがすごい？

• 先行研究は、NL以外のフォーマットを探索しているが、外部ツールと統合されており、フォーマット自体の効果とツール実行の効果の区別が不明瞭
• 本研究は、フォーマット自体に焦点を当て、NLに代わるフォーマットがCoTのパフォーマンスを向上させるかどうかを調査
• エージェントコミュニケーションにおいて、NLの曖昧さや感情的ニュアンスは望ましくない可能性があるが、現在の研究はNLを利用しており、他のフォーマットの探索は限定的

3. 技術や手法の肝はどこ？

• LLMに非NLフォーマットの使用を促すシンプルで効果的なメカニズムを実装
  • 元のCoTプロンプトに、現在の入力に適した非NLフォーマットを探索するよう指示を追加
• LLMがタスクに適したフォーマットをタスク指示から考案できるかを調査する２段階のAutoFormを導入

4. どうやって有効だと検証した？

• 様々な単一LLM推論タスクにおいて、AutoFormによるパフォーマンスの平均3.3〜5.7％の向上を実証
• マルチエージェントコミュニケーションにおいて、最大72.7％のトークン使用量の削減を実証（効果を損なうことなく）
• LLMが考案したフォーマットが、異なるLLM間で転移可能であることを示した

5. 議論はある？

• LLMが採用した構造化されたコミュニケーションフォーマットは、確立されたエージェントコミュニケーション言語と顕著な類似性を示した
  • エージェントコミュニケーションにおける効率的で構造化された伝達への自然な進化を示唆
• AutoFormアプローチは、伝達の効果を最適化しつつ、トークン使用量を大幅に削減

6. 次に読むべき論文は？

• Chen et al. (2022)、Gao et al. (2023): Program-of-Thought (PoT) の研究
  • Chen et al. (2022): https://arxiv.org/abs/2211.12588
  • Gao et al. (2023): https://proceedings.mlr.press/v202/gao23a.html
• Liu et al. (2023): X-of-Thought の研究
  • https://aclanthology.org/2023.emnlp-main.205
• Yao et al. (2023a): Tree-of-Thought の研究
  • https://arxiv.org/abs/2305.10601