Zenn
Closed4

Agent S: An Open Agentic Framework that Uses Computers Like a Human

LLM
agent
agents
kun432kun432

ここで知った。

https://twitter.com/omarsar0/status/1846930425849303424

PCのデスクトップを使うエージェントって感じっぽい。

論文

https://arxiv.org/abs/2410.08164v1

どんなもの？

本論文は、人間のようにコンピューターを操作する自律型エージェントフレームワーク「Agent S」を提案している。Agent Sは、経験増強型階層プランニング、自己評価による継続的なメモリ更新、そしてAgent-Computer Interface (ACI)という3つの主要な戦略を統合している。これにより、多様で複雑なデスクトップタスクを効率的に実行できる。Agent Sは、外部知識と内部経験を活用して長期的なタスクを計画・実行し、動的なインターフェースに対応する。さらに、ACIを通じてMultimodal Large Language Models (MLLMs)の推論能力を最大限に引き出し、GUIベースのタスクを正確に実行する。OSWorldベンチマークにおいて、Agent Sは既存のベースラインを大幅に上回る性能を示し、さらにWindowsAgentArenaベンチマークでも優れた汎用性を実証している。

先行研究と比べてどこがすごい？

Agent Sは、以下の点で先行研究を凌駕している：

  1. 経験学習：外部のWeb知識と内部の経験メモリを組み合わせた独自の学習方法を採用し、多様なタスクに対応できる。
  2. 階層的プランニング：複雑なタスクを管理可能なサブタスクに分解し、長期的な計画立案と実行を可能にしている。
  3. Agent-Computer Interface (ACI)：MLLMベースのエージェントがGUIを効率的に操作できるよう、知覚と行動のインターフェースを最適化している。
  4. 自己評価と継続学習：人間のフィードバックなしに、タスク経験を自己評価し、継続的にメモリを更新する能力を持つ。
  5. 汎用性：OSWorldベンチマークで既存手法を大きく上回る性能を示すだけでなく、WindowsAgentArenaベンチマークでも高い汎用性を実証している。

これらの特徴により、Agent Sは先行研究と比較して、より広範囲のタスクに対応でき、効率的に学習・実行できる優れたフレームワークとなっている。

技術や手法の肝はどこ？

Agent Sの核となる技術は以下の3点である：

  1. 経験増強型階層プランニング：

    • Managerモジュールが外部Web知識と内部Narrative Memoryを組み合わせて全体計画を立てる。
    • Workerモジュールが Episodic Memoryから類似サブタスク経験を取得し、実行する。
    • Trajectory Reflectorが実行中の軌跡を観察し、戦略の改善を提案する。

  2. 継続的メモリ更新メカニズム：

    • 自己教師あり探索フェースで初期メモリを構築。
    • Self-Evaluatorがタスク完了後に経験を要約し、テキスト報酬としてメモリに保存。
    • 推論時にも新しいタスクからメモリを継続的に更新。

  3. Agent-Computer Interface (ACI)：

    • 二重入力戦略：視覚入力と画像拡張アクセシビリティツリーを併用。
    • 制約された行動空間：click, type, hotkeyなどの基本操作に限定。
    • OCR拡張：スクリーンショットからテキスト情報を抽出し、アクセシビリティツリーを補完。

これらの技術により、Agent Sは複雑なGUIタスクを効率的に学習・実行できる。

どうやって有効だと検証した？

Agent Sの有効性は、主に2つのベンチマークを用いて検証された：

  1. OSWorld：

    • 369のUbuntuタスクを含む包括的なベンチマーク。
    • Agent Sは全体の成功率20.58%を達成し、最良のベースライン（11.21%）を大幅に上回った。
    • 特に「Daily」と「Professional」タスクで顕著な改善を示し、それぞれ27.06%と36.73%の成功率を達成。

  2. WindowsAgentArena：

    • Windows OSでの154タスクを評価。
    • 同等の設定で13.3%から18.2%へ性能向上を示し、異なるOSへの汎用性を実証。

さらに、アブレーション実験を通じて各コンポーネントの有効性を検証：

  • ACIの導入により、MLLMの推論能力が向上。
  • 経験学習プロセスがエージェントの領域知識を強化。
  • 階層的プランニングが長期的なワークフローの処理を改善。
  • 探索、継続的メモリ更新、自己評価がメモリ構築に不可欠であることを確認。

これらの結果は、Agent Sの各コンポーネントが効果的に機能し、全体としてGUIタスクの自動化に大きく貢献していることを示している。

議論はある？

論文では、以下のような議論点が挙げられている：

  1. エラー分析：

    • 計画エラー、グラウンディングエラー、実行エラーの3種類を特定。
    • 実行エラーと知識化エラーが最も一般的で、これらの改善が今後の課題。

  2. 性能向上の余地：

    • タスク完了に要する時間とステップ数の最適化が今後の研究課題として挙げられている。
    • 最短経路ナビゲーションの観点からの評価も検討すべき。

  3. モデルサイズと計算資源：

    • 現在はGPT-4oやClaude-3.5-sonnetなど大規模モデルを使用。
    • より小規模なオープンソースモデルへの適用可能性を探る必要性。

  4. 倫理的配慮：

    • 人間の健康や福祉に危険を及ぼす可能性のあるアーティファクトの生成を回避。
    • テキスト形式で生成可能な内容に限定。

  5. 汎用性と適応性：

    • 異なるOSへの汎用性は示されたが、さらなる検証と改善の余地がある。
    • 新しいアプリケーションやインターフェースへの適応能力の向上が課題。

これらの議論点は、Agent Sの現在の限界と今後の研究方向性を示唆している。

次に読むべき論文は？

本研究の発展や関連分野の理解を深めるため、以下の論文を読むことをお勧めします：

  1. Xie et al. (2024) "OSWorld: Benchmarking multimodal agents for open-ended tasks in real computer environments"

    • Agent Sの評価に使用されたOSWorldベンチマークの詳細を理解するため。

  2. Bonatti et al. (2024) "Windows Agent Arena: Evaluating multi-modal os agents at scale"

    • Agent Sの汎用性評価に用いられたWindowsAgentArenaベンチマークについて学ぶため。

  3. Yang et al. (2024) "SWE-Agent: Agent-computer interfaces enable automated software engineering"

    • Agent-Computer Interface (ACI)の概念をソフトウェアエンジニアリングに応用した研究。

  4. Park et al. (2023) "Generative agents: Interactive simulacra of human behavior"

    • 対話型エージェントの行動シミュレーションに関する先駆的研究。

  5. Wang et al. (2024) "Voyager: An open-ended embodied agent with large language models"

    • オープンエンドな環境での大規模言語モデルを用いたエージェントの研究。

  6. Fu et al. (2024) "AutoGuide: Automated generation and selection of state-aware guidelines for large language model agents"

    • 状態認識型ガイドラインの自動生成に関する研究で、Agent Sの経験学習との比較に有用。

これらの論文は、GUIエージェント、マルチモーダル大規模言語モデル、およびエージェントの自律学習に関する最新の研究動向を理解する上で重要である。

kun432kun432

GitHubレポジトリ

https://github.com/simular-ai/Agent-S

Agent S: 人間のようにコンピュータを使用するオープンエージェンティックフレームワーク

💡 はじめに


refered from https://github.com/simular-ai/Agent-S and translated into Japanese by kun432

Agent Sへようこそ。Agent-Computer Interface（エージェント・コンピュータ・インターフェース）を通じて、コンピュータとの自律的な対話を可能にすることを目的として設計されたオープンソースのフレームワークです。私たちの使命は、過去の経験から学習し、お客様のコンピュータ上で複雑なタスクを自律的に実行できるインテリジェントなGUIエージェントを構築することです。

AI、自動化、または最先端のエージェントベースのシステムへの貢献に興味をお持ちであれば、ぜひご参加ください。

🎯 現在の結果

OSWorldの全369テスト例のフルテストセットにおける、画像＋アクセシビリティツリー入力を使用した場合の成功率（％）の結果です。


refered from https://github.com/simular-ai/Agent-S

このOSWorldってのが、PCデスクトップ環境におけるマルチモーダルエージェント用ベンチマークらしい。そんなのあるんだ。。。

https://github.com/xlang-ai/OSWorld

kun432kun432

イメージ的には自律的RPAとかそういう方向かな。

このスクラップは1ヶ月前にクローズされました