【AIエージェント】Planning の「外部プランナー支援計画」とは

この記事の概要

AIエージェントは、「Profile」「Memory」「Planning」「Action」から構成されます。

引用：A Survey on Large Language Model based Autonomous Agents (2023)

その内の「Planning（計画）」は、次の5つのカテゴリに分類できます。

• タスク分解
• マルチプラン選択
• 外部プランナー支援計画
• 反省と洗練
• 記憶拡張計画

この記事では、AIエージェントのPlanningのうち、「外部プランナー支援計画」について説明します。

復習：Planningとは

概要

AIエージェントの「計画」とは、目標達成のために一連の行動を構成・選択するプロセスです。
具体的には、タスクや目標に応じて、必要なステップを論理的・時系列的に整理し、エージェントがその通りに行動できるようにすることを指します。

なぜLLMベースのエージェントにPlanningが必要か？

• LLMは非常に強力な推論能力を持っていますが、そのままでは「複雑なタスクの段階的実行」には不向きです。
• 単発の出力だけでタスクを完了できない場面では、事前に「どんなステップで進めるか」を考えるPlanningが重要になります。

外部プランナー支援計画とは

外部プランナーとは、LLM外部のプランニング専用モジュールのことです。
LLMは強力な推論能力を持ちますが、数学の厳密な条件であったり、生成したプランが行動可能であるかを正確に判断することが難しいです。
そこで、既存のプランナーにタスク or サブタスクを渡すことで、実際に行動可能な計画（プラン）を生成してもらいます。

このように、外部プランナー支援計画では、

1. AIエージェントがユーザーの意図を自然言語で理解・解釈する。
2. それを形式的なプラン要求として外部モジュールに渡す。
3. 外部プランナーが持つ専門的な推論エンジン（例：PDDLプランナーや強化学習ベースのニューラルモデル）が、実行可能なアクション列としての計画（プラン）を構築する。

という処理で、特に次のケースに有効になります。

• 実世界で制約条件が厳しい（例：ロボット制御、物流最適化）
• 計画の整合性や実行可能性が保証される必要がある
• LLM単体では完結できない複雑な構造を持つ長期計画

外部プランナーには、次の2つの種類があります。

• シンボリックプランナー
• ニューラルプランナー

シンボリックプランナー

特定の形式（PDDLなど）で定義された入力情報を用いて、ルールベースで計画を立てるAIプランナーです。

具体例：LLM+P

（引用：LLM+P: Empowering Large Language Models with Optimal Planning Proficiency, Fig1）

LLM+Pは、LLMに最適な計画能力を付与する」ことを目的としたフレームワーク（外部プランナー）です。
LLM+Pは、「長期的なロボット計画問題」の解決を目指しています。

次の処理でプランが生成されます。

1. 問題の入力
2. LLMによる、自然言語 → PDDL の変換
   PDDL（Planning Domain Definition Language）は、古典的な計画問題の標準化された記述言語です。
   この変換は、LLMにとって「機械翻訳」タスクの一種と見なされ、LLMが得意とする分野の1つです。
3. 古典プランナーによる計画生成
   古典プランナーは、PDDL形式などの情報から、最適なプランを探索するアルゴリズムです。
   これが、AIエージェントにおける外部プランナーの正体に対応します。
4. LLMによる、PDDL → 自然言語 の変換
   
   
   

ニューラルプランナー

ルールベースで計画を生成するシンボリックプランナーに対し、強化学習や模倣学習などの深層学習で学習されたモデルを用いて、計画を立てるプランナーです。

具体例：CALM

CALMとは、LLMと強化学習によるニューラルプランナーの組み合わせによって、大規模な行動空間を効率よく探索するフレームワーク（プランナー）です。

次の処理でプランが生成されます。

1. アクション候補生成（LLM）
   ・CALMが有望なアクション候補を複数生成します。
   ・学習データから学んだ「文脈にあった行動」を反映します。
   → 行動空間を賢く絞る。
2. アクション選択（強化学習）
   ・候補アクションを強化学習モデルで評価し、最も報酬が高そうなアクションを選択します。
   ・実行結果をもとに、強化学習モデルを継続的に学習させ続けます。
   → 適応的な最適行動を選択する。

まとめ

AIエージェントのコンポーネントの１つである「Planning」における、「外部プランナー支援計画」について説明しました。
外部プランナーには2種類あり、それぞれの具体的な技術についても解説しました。
外部プランナーは、AIエージェントが実行可能な計画を立てることに寄与します。

参考

Understanding the planning of LLM agents: A survey (2024)
A Survey on the Memory Mechanism of Large Language Model based Agents (2024)
LLM+P: Empowering Large Language Models with Optimal Planning Proficiency (2023)
Keep CALM and Explore: Language Models for Action Generation in Text-based Games (2020)