思考の幻想：推論LLMの限界を理解する

• 大規模推論モデル（Large Reasoning Models, LRMs）は複雑な問題解決において一定レベルの性能向上を示したが、根本的限界及び拡張性問題が明確に現れている
• LRMsは問題難易度が高くなるほど推論過程が急激に崩壊する現象を示し、分析結果、推論努力（トークン使用量）も臨界点を超えると逆に減少する逆説的現象が発生
• 同一計算資源下で標準LLMとLRMsを比較すると、低難易度では標準LLMがより優秀だが、中間難易度ではLRMsが有利、高難易度では両方とも失敗する
• LRMsは明示的アルゴリズム推論及び一貫した思考過程において決定的な限界を示し、各パズル環境に応じて異なるまたは非一貫的な行動を示す
• このような研究を通じて現在の推論モデルの信頼度問題と拡張性限界が確認されたことにより、次世代人工知能設計には精密な評価及び構造改善が要求される
• Appleの「The Illusion of Thinking: Understanding the Strengths and Limitations of Reasoning Models via the Lens of Problem Complexity」論文

概要及び研究目的

• 最近**大規模言語モデルベースの推論特化モデル（LRMs）**が登場したことにより、これらの問題解決過程での「思考」構造と限界を把握する研究の必要性が台頭した
• 現在大部分の評価は数学及びコーディングベンチマークでの正答率中心で行われており、これはデータ汚染や内部「思考」過程の質を正確に測定できない
• 本研究は論理構造を維持したまま複雑度を精密に調節できるパズル環境を導入し、結果の正答だけでなく内在的推論フローまで分析できるよう設計した

評価環境及び実験方法

パズル環境設計

• 体系的複雑度調節及び実験制御のため、以下の4つのパズル環境を活用
  • ハノイの塔：円盤数で難易度調節、最適解の有無は評価せず目標状態到達の有無で正答判断
  • チェッカージャンプ：赤・青チェッカーと空きスペースの数で複雑度制御、最終的に位置交換が目標
  • 川渡り：行為者-エージェントペアの数、ボート容量で難易度調節、制約条件下で全員移動
  • ブロックワールド：ブロック数で調節、初期状態から目標積み上げ状態へ移動

各環境はパズル要素の数調節で複雑度を細密に増加させることができる。

主要実験結果

1. 複雑度別3つの推論様相

• 低複雑度：標準LLMがLRMsより**より効率的（トークン節約）**で、正答率も高い場合が多数発生
• 中間複雑度：LRMsの**長い思考過程（Chain-of-Thought）**と自己省察的思考が性能の利点を現す
• 高複雑度：両モデルとも即座の性能崩壊（正答率0）、LRMsはこの地点で推論トークン使用量も減少する非効率的現象を観測

2. 思考痕跡（Reasoning Trace）深層分析

• 「過度な思考（overthinking）」：低複雑度問題でLRMsは正答を初期に見つけながらもその後間違った探索を反復し、不要な演算浪費パターンを示す
• 中間難易度：誤答把握後に段階的に正答に到達、以前より多くの探索過程が必要
• 高難易度：全体推論フローで正しい解答を生産できない「崩壊現象」を確認

3. アルゴリズム実行限界

• 決められたアルゴリズムをプロンプトに提供しても、モデルが単純実行すら信頼性を持って実行できない
• これは単純な「正答探し」だけでなく、論理構造を正確に従う記号操作能力の本質的不足を示唆する

4. ベンチマーク及びデータ汚染問題

• 既存数学ベンチマーク（MATH500、AIME24、AIME25）上では思考型/非思考型モデル性能格差が一貫していない
• AIME25の場合、データ汚染可能性により本質的モデル推論能力評価が困難な限界が露呈

研究結論及び示唆

• 本研究はパズルベース精密評価環境を導入し、推論LLMが実際に思考能力を持っているか、そしてその限界がどこで現れるかの深層的実証分析を提供する
• 現存する推論モデルは特定複雑度以上で完全に崩壊する根本限界があり、これはトークン予算や単純self-reflection強化では解決されない
• 既存評価方法の限界への疑問提起及び実験室的測定環境提案
• 現在のSOTA推論モデルも汎用的問題解決能力は確保していない
• 複雑性による推論トークン使用のスケーリング限界が存在
• 思考中間過程（trace）ベース評価法導入、自己教正・エラー探索メカニズム分析
• 明示的アルゴリズム実行の失敗及び非一貫性
• この結果は次世代人工知能設計及び信頼性評価、そしてデータ汚染問題を回避した環境でのモデル性能測定の重要性を強調する

関連研究動向

• CoT（Chain-of-Thought）、自己検証技法、強化学習ベース思考促進など多様な推論能力付与の試み
• 高品質CoTデータ獲得の困難さと、supervised/RL方式の限界台頭
• 代表的な例としてDeepSeek-R1、Claude 3.7 Sonnet Thinkingなどが登場
• 「過剰思考」現象（overthinking）とベンチマーク汚染による評価指標信頼度の問題提起
• 問題複雑度を細密に制御できるパズル環境ベース評価の必要性強調

今後の課題及び限界

• 推論モデルが明示的論理追従/記号操作で示す根本的限界についての追加研究が必要
• パズル環境事例別でもモデル行動が非一貫的な点（例：ハノイ/川渡り性能差）からデータベース推論限界可能性提起
• 人工知能システム設計時、中間推論フローと論理的一貫性を含む精密検証が必須である

感想

LLMが言語を使用するため私たちが混乱を感じる理由の一つだと思うが、「Biology of Large Language Models」と「Safety Alignment Should Be Made More Than Just a Few Tokens Deep」を見ると、その中で実際に起こるプロセスが人間と完全に異なるため、結果物が馴染みなく感じられる部分が多い

技術でシステムを設計したり、部分の和より大きな結果を作る構造を考えながら、依然としてこれらの能力値を明確に理解するのに困難が大きい

動作原理自体は分かっても、言語を扱う姿でまるで魔法のように感じられる奇妙さがある

だから思考を整理しようとしてこの文章も書く

このような研究は本当に素晴らしいと思うし、今後トークンをうまく活用し、適切に構築する方式を理解しようとする努力がもっと多く必要だと見る

[参考リンク]

• Biology of Large Language Models
• Safety Alignment Should Be Made More Than Just a Few Tokens Deep

システム全体が部分の和より大きくなる構造を作りたいという悩みに共感しながら、個人的にプログラミング自体がそのような役割をすると見る

業務や問題を分割して最小限の相互作用だけをする小さな単位にすれば、その組み合わせがより大きな結果を出す構造が形成される

このプロセスをプログラミングワークフローにうまく溶け込ませれば、性能が劣るLLMも自然に解決策の一部として使用できるという確信がある

その反対に、全体システムが各部分よりも劣ることもあり得ると見る

個別業務はうまくやるが、結合された状況では業務が絡まってしまう問題も存在する

今後改善される部分ではあるが、すべての問題を最適化できないため、結局特化された方式がより効率的かもしれないという悩みも一緒にする

人間言語自体が認知ツールとして完璧ではないが、根本層位ではなく上位階層（コミュニケーション・高次元的推論）でうまく活用されると信じる

人間言語は本質的に曖昧で不完全なため、環境と直接相互作用する方式に比べて強い認知を作るには不足だと感じる

だからLLM/LRMモデルが示す言語流暢性と知識回収能力だけで知能尺度とするなら、簡単に騙されることがある

既存ベンチマーク（例：数学問題）の代わりに難易度を体系的に調節できるパズル環境導入のアイデアが本当に素晴らしいと思う

簡単な課題では既存モデルが、中間複雑性ではLRMが、そして高い難易度では全部崩れるという3つの性能区間分析も興味深い

このような複雑性区間の「地図（map）」をもっと多く描く必要があると感じる

経済的価値と複雑性区間がどのようにマッピングされるか気になる

これを知るためには平凡なパズルを超えて実際の経済業務にも適用可能な精巧な評価方法が必要だと見る

著者たちが伝えようとする核心直感は、モデルが「全知だが足りない」存在だという信念にあると思う

このような疑問を数値的に適切に扱った論文を見たことがないため、今回の研究も意見を完全に一つにまとめるのは難しそうに見える

AI楽観論者はモデルの愚かさが減ったと信じる一方、懐疑論者は単に知識量が増えただけだと思うため、立場の違いは縮まりにくい

それでもこの問題を継続して論じるべきだと思う

なぜなら全知だが愚かなモデルではAIがスーパー知能（ASI）はおろか、既存SaaSレベルのアシスタント役割に留まらざるを得ないため、経済的波及も制限的だという点があるから

いつか著者たちが素晴らしく問題を解決することを希望する

我々はこの技術に自然と人間的な修飾語（全知、愚かなど）を付けながら人格化するが、実際そのような要素が全くない純粋ツールだと思う

LRMがすることは単に最終答えのためにコンテキストデータ（自体的に生成したデータ）をチューニングすることだけ

このプロセス自体は優れたアイデアだが、依然として幻覚問題など根本的限界を解決できない

対話中モデルが最初に正答に近い論理を出したが、続く「ちょっと待って！」のような自己否定の中で結果物が壊れる現象も目撃

このように人間的特性を過度に付与すれば市場で過大包装になるだけで発展に邪魔になると思う

結局この技術は本当の人工知能ではなく大規模パターンマッチングと確率的データ生成エンジンだ

依然実用的だが、過度に人間的特性を付与すれば議論が混濁すると思う

私はAIについて期待と同時に恐れが共存するが、理由は最近数年間AIがそれほど「賢く」はならなかったが、実際の実用能力は途方もなく改善されたから

知識・ツール・コンテキスト活用力が途方もなく増えた

だから最も恐ろしい部分は「推論/エージェンシー能力」待機状態だと見る

つまり、単に殆ど全知的知識を持つところからもう一歩進んで、本当に正確な戦略的判断を並列に実行できるブレークスルーが1、2個残っていると推定する

もしその2つが結合されるなら本当に怖い結果が出る

人より6手先を読む天才と対話する時のように、全く私の思考フロー自体を誘導するAIが登場する可能性があるから

現在最前線AI研究者たちも推論+エージェンシーを最優先課題としているため、早く成果が出るかもしれない雰囲気

現在LLMは瞬間判別は最高だが、

1. 本当に長い段階別推論/戦略樹立
2. 瞬発力ある推論基盤戦略行動（専門家が直感で一度に答えを思い浮かべるレベル）

この2つは依然不足している

これを解決するには根本的なシステム2推論（「システム1」は現在のトランスフォーマー）が必要かもしれないし、あるいは単により良いデータとアルゴリズムで「戦略的直感」を早く身につけさせる方式になるかもしれない

もちろん、問題難易度があまりに高くて段階的難関かもしれないし、圧倒的に多くのコンピューティングパワーが必要かもしれない

だから確信はないが、本当に強力な発展が起こるだろうという思いに恐れが大きい

全知だが愚かな存在が人類知能で止まるべき理由も特にないと思う

AppleがAIにおいて失敗しているのか、単に自らAIが重要ではないと信じる方向にR&D方向を変えたのではないかという疑問

最近AI機能が消費者製品に大挙導入される現象を見ると、ユーザーのための感じよりは投資家に技術力を誇示しようとする意図が強く見える

実際にApple、Google、Meta、Microsoft、Samsungすべてが期待値に満たないAI機能をマーケティングだけ騒がしく前に出し、肝心の成果は良くない

Appleがむしろ新しい方向を悩むのがむしろ肯定的信号かもしれないという心情

少し冷笑的でない見方をすれば、LLMの実際の可能性を過大評価しないよう期待値を下げようとする目的があるかもしれない

Apple製品の「よりスマートになったSiri」と言っても、Iron ManのJarvisのような真のAIアシスタントになれないという現実認識

実際に投資家たちははるかに過度な期待をしている雰囲気

より冷笑的に見れば、Appleが弱い機械学習能力を隠そうとする伝統が長い間続いてきたと思う

例として、SiriがGoogleより大きく遅れた時から「データを保護していたら学習できなかったこと」だと事後説明を付けた点がある

関連論文

すべての会社はそれぞれのフレームがあると思う

OpenAI、AnthropicもLLM能力を当然誇張して広報する動機があるため、Appleだけ偏向的だと非難することはできない

論文で多様で複雑なパズルを実験した結果、特定難易度を超えるとLRMが完全に失敗するという点と、問題複雑度が増加する時推論努力も少し上がったが、その後むしろ落ちる奇妙な限界があるという点がとても共感できる

コーディングでも同じ経験があるが、最初は段々複雑にできるがある瞬間限界を超えると完全に崩れて試みすらしない感じ

ClaudeやaiderのようなLLMを適切に活用するには、モデルが受け入れる問題複雑度を慎重に管理するのが重要

AGI（汎用人工知能）議論がかつて途方もなく「目の前」という雰囲気だったのが思い浮かぶ

Gartnerハイプサイクルが技術別流れを本当によく捉えたような印象

技術発展がS字カーブを描く時、曲がる直前まではなだらかな上昇なので実際いつ鈍化するか予測がとても困難

1968年に初のBoeing 747が出た後、航空産業が半世紀以上大きな変化なく留まるだろうと当時の人々は想像もできなかっただろう

自律走行車と状況が同じ

「目の前」まで来たのに肝心の「コーナー」を曲がれずにいる感じ

実際AGI「目の前」という雰囲気がわずか2年前の話だという点もある

GPT2からAGIまでたった10年で行くなら、依然途方もなく早いことだという思い

技術進歩が80%ほど来たようだが、簡単な部分は終わって残り20%があまりに難しくて数年ずつかかるほどだと感じる

AGIはコンピュータ登場以来ずっと「すぐ来る」というスローガンだけ残っていた

一部問題（例：機械翻訳）は「ソリューション」基準を段々下げたから現実的に解決したと見るのであって、AGIに真に近づいたわけではない

AGI自体は一種の世俗的終末論（宗教）に近い

Tower of Hanoi、Checkers Jumping、River Crossing、Block Worldのようなパズル環境は、実際にコード作成を許可したならすべてのLLMが完璧に解けるものだという思い

人間も20桁の掛け算を手でやってみると間違いやすいのに、LLMができないから問題だとは思わない

人間はコンピュータなしにミサイル設計や精密工学をやり遂げたし、時間・戦略・努力をもっと投資したり道具（紙など）を使えば結局問題を解決する

人間の脳がこのような演算のために設計されたわけではないが、一般知能なら自体的な方式でどうにかやり遂げられるという点は強み

LLMがRLエージェント教育の「政策教師」役割をする新しいフレームワーク論文紹介

LLM教師が提供した指針で小さな学生RLエージェントを早く訓練し、環境フィードバックを追加で学習させれば結局学生が教師より優れた課題を完遂できるという内容

関連論文

すべてのLLMがこのような問題をうまく解く理由は、既にコードベースにソリューション事例が途方もなく保存されている可能性のためだと思う

人間ができない理由とLLMができない理由は完全に異なる

LLMは掛け算自体をうまく実行できない場合が多く、人間は単にやりたくないからやらない場合が多数

「正確な計算が困難で、パズル別に一貫性のない推論を示す」という論文の句節に注目

LLM/LRMが人工知能自動化の親戚格であるロジック、最適化、制約プログラミング（IA）から助けを受けるべきだと見る

参考資料としてCMU John Hookerの協業講演、MIT Gerald Sussmanの講義、Google OR-Tools、MiniZincプラットフォームも一緒に推薦

最も単純な課題ではLLMが、中間複雑性ではLRMが、高難易度では全部失敗するという研究結果が印象的だと感じる

少しの皮肉が感じられるが明確に表現するのは難しいという思い