Karpathy「AIエージェントは1年ではなく10年かかる」- 過剰予測への警告
元記事
Andrej Karpathy — "We're summoning ghosts, not building animals"
「エージェントの年」ではなく「エージェントの10年」
OpenAI創設メンバーでTesla AI部門の元ディレクターであるAndrej Karpathyが、AI業界における過剰予測に警鐘を鳴らしています。
業界では「エージェントの年（year of agents）」という表現が使われていますが、Karpathyはこれを「エージェントの10年（decade of agents）」に修正すべきだと主張しています。ClaudeやCodexなど印象的な初期エージェントは存在し、本人も日常的に使用していますが、「まだやるべきことが膨大にある」とのこと。
この予測の根拠は、AI分野で約15年の経験を持つKarpathyが、多くの予測とその結果を観察してきた直感に基づいています。「問題は対処可能だが困難。平均すると10年程度」と述べています。
真のエージェントに足りないもの
Karpathyが想定する「エージェント」は、従業員やインターンのように雇って一緒に働ける存在です。現在のモデルにそのような仕事を任せられない理由は明確です。
技術的な不足点として、知能の不足、マルチモーダル性の欠如、コンピュータ使用能力の限界、継続学習の不在（何かを教えても記憶しない）、多数の認知的欠陥を挙げています。
興味深いのは、Karpathyが「我々は動物を作っているのではなく、幽霊やスピリットを作っている」と表現している点です。動物は進化によって最適化され、遺伝子に重みがエンコードされていますが、LLMはインターネット上の人間データの模倣から学習します。シマウマは生まれて数分で走り回りますが、これは強化学習ではなく、進化が組み込んだ能力。LLMは全く異なる出発点から始まり、異なる種類の知能を持っているとのこと。
プリトレーニングの二面性
Karpathyはプリトレーニングについて重要な洞察を述べています。プリトレーニングは2つの独立したことを行っている—知識の獲得（インターネット上の事実を「曖昧な記憶」として保存）と、知能の獲得（アルゴリズムパターンを観察し、インコンテキストラーニングなどの能力を構築）。
ただし、「知識は不要で、むしろ弊害になることがある」という指摘は驚きです。モデルが知識に頼りすぎると、データマニフォールドから外れた問題に弱くなる。Karpathyは「認知コア」の概念を提案—知識を削除し、問題解決のアルゴリズムと戦略だけを保持した知的存在です。
認知コアのサイズについて、「20年後、10億パラメータモデルと非常に生産的な会話ができる」と予測しています。事実的質問には調べる必要があるが、知らないことを知っており、合理的な行動をすべて取る存在。なぜ10億も必要かというと、訓練データ（インターネット）が「本当にひどい」から。Wall Street Journal記事のような質の高い内容は極めて稀で、圧縮の大部分は記憶作業であって認知作業ではないとのこと。
強化学習の根本的問題
Karpathyは強化学習について非常に率直な意見を述べています。「強化学習はひどい。ただし、それ以前のものがさらにひどかっただけ」。
数学問題で数百の試みを並列実行し、正解に至った軌跡のすべてのトークンを上重み付けする。しかし、正解に至る過程で間違った道も多数あり、それらも「もっとやれ」と重み付けされる問題を指摘。印象的な比喩として「1分間のロールアウトをすべて実行し、最後に1つの報酬シグナルだけ得て、その監視ビットをストローを通して吸い上げ、軌跡全体にブロードキャストする。これは愚かで狂っている」と述べています。
人間なら数百のロールアウトはせず、解決策を見つけたら複雑なレビュープロセスを経て「この部分はうまくやった、この部分は違う」と考え抜く。LLMにはこのようなプロセスの等価物が全くないが、論文が出始めているので、あと3〜5回の大きなアップデートが必要とのこと。
プロセスベース監視（各ステップで評価）についても、LLM判定者を使う試みがあるものの、「ゲーム可能性」の問題があると指摘。Karpathyの経験では、「dhdhdhdh」という文字列がLLMの敵対的事例となり、100%の報酬を得てしまったとのこと。明らかに間違っている解決策なのに、モデルは素晴らしいと思ってしまう。
nanochatでのコーディングモデルの限界
nanochatの開発経験から、Karpathyはコーディングモデルの限界について語っています。
nanochatは約8,000行のコードでChatGPTクローンを構築する完全なパイプラインですが、「かなりユニークなリポジトリで、構造化の方法に類似例が少なく、ボイラープレートではない」とのこと。モデルがDDPコンテナを使わせようとし続ける（独自実装を理解できない）、スタイルを無視、複雑性を肥大化させるなどの問題があり、「混乱を招き、正味で有用でない」と結論づけています。
オートコンプリートの方が高い情報帯域幅を提供するとのこと。コードを入れたい場所を指し、最初の数文字を入力すると、モデルが正確に補完してくれる。
一般的には「AIがAI研究を自動化することで急速に超知能へ」という予測がありますが、Karpathyによれば「これまで書かれたことのないコードは非常に苦手。そして、それがモデルを構築する際に我々が達成しようとしていること」。フロンティアモデルの研究は定義上、前例のないコードであり、真の創造性と新規性が必要です。
業界への警告として「モデルは素晴らしいが、まだまだ作業が必要。業界は大きな飛躍をしようとしているが、現実と向き合っていない。これはスロップだ」と述べています。
コーディングだけが成功している奇妙な現実
「汎用」であるはずのAGIが、API収益では圧倒的にコーディングだけをやっているという奇妙な現実があります。コンサルタントや会計士は大きな生産性向上を得ていません。
コーディングが完璧な最初の領域である理由として、テキスト中心性（コーディングは常にテキストを中心に機能してきた）と、既存インフラ（VS Code、diff機能など、コードとテキスト用の事前構築インフラが豊富）を挙げています。
対照的に、スライド自動化などは「テキストではなく、視覚的要素があり、diffを表示する方法さえない」。純粋な言語入力・言語出力タスク（トランスクリプトの書き直しなど）でさえ、実用化は困難とのこと。
知能爆発は既に起きている
Karpathyは超知能を社会における自動化の進行として見ています。重要な認識として「我々は既に知能爆発の中にいる。何十年も続いている」と述べています。
GDP曲線は業界の非常に多くの側面にわたる指数加重和で、産業革命は自動化、コンパイラは初期のソフトウェア自動化。すべてが徐々に自動化され、何百年も続いています。
しばらくの間GDPでAIを見つけようとしましたが、コンピュータや携帯電話など他の変革的技術もGDPでは見つけられなかったとのこと。すべてが非常に広がり、ゆっくり拡散するため、同じ指数に平均化される。AIでも全く同じことを見ると予測し、2%成長が継続すると考えています。
最も懸念するシナリオとして、徐々に制御を失い、何が起きているかの理解を失うことを挙げています。すべてをいたるところに重ねていき、それを理解する人がますます少なくなる。これは単一の超知能が引き継ぐのではなく、複数の競合する自律的存在が徐々に出現し、いくつかは暴走し、他のものが戦う「完全に自律的な活動の熱い鍋」になるとのこと。
教育の未来：Starfleet Academy
KarpathyはEurekaを通じて「Starfleet Academy」—フロンティア技術のためのエリート機関—を構築しています。
韓国語の個人教師の経験から、本当に良い教師のバーは非常に高いことを実感したとのこと。教師は即座に学生の理解を把握し、適切に挑戦的な内容を提供する。「私が唯一の制約」と感じる—知識は完璧に提供される、自分の記憶力だけが障害。しかし、このようなAI教師を作る能力はまだないとのこと。
現在の焦点は、物理的・デジタル両方の要素を持つ従来的なもので、最初のコース（AI、LLM101N、nanochatは最終課題プロジェクト）と小規模なTAチームの雇用です。
「教育は知識の拡散というソフトな要素ではなく、知識への傾斜路を構築する非常に難しい技術的プロセス」と述べています。nanochatは知識への傾斜路—非常にシンプルで完全なフルスタック。「秒あたりのユーレカ（理解）」を最大化することが目標。
post-AGIの教育についても興味深い視点を示しています。すべてが自動化され誰もすることがなくなっても、人々は学校に行く。「pre-AGI教育は有用、post-AGI教育は楽しい」。ジムに行くのと同じ—物理的な強さは不要だが、楽しく、健康的で、魅力的。学習が簡単になれば、人々は楽しみのためにやり、誰もが5つの言語を話し、学部の基本カリキュラムをすべて知るようになるとのこと。
個人的に気になった点
正直、10年という予測は保守的すぎる気もしますが、Karpathyの自動運転での経験（デモから実用まで想像以上に時間がかかる）を考えると説得力があります。
「動物ではなく幽霊を作っている」という比喩は面白いですね。進化のプロセスを実行できない以上、インターネットデータの模倣で「不完全な進化」をやるしかないという実用主義的な割り切りは、いかにもKarpathyらしい。
強化学習の「ストローで監視を吸い上げる」という表現は的確です。前にファインチューニングで似たような問題に遭遇したことがあって、報酬シグナルのノイズで全然学習が安定しなかった経験があります。プロセスベース監視のLLM判定者も、敵対的事例の問題は避けられなさそう。
コーディングだけが成功している現実は興味深いです。「汎用」のはずなのに、テキスト中心性と既存インフラの有無がここまで影響するとは。スライドのdiffすら表示できないというのは、確かにそうだなと。純粋な言語タスクでさえ実用化が難しいのは、Andy Matuschakの例を見ても明らかですね。
GDPでAIを見つけられない話は、少し楽観的すぎる気もします。真のAGI（サーバー内の人間の実際の置き換え）は労働そのものなので、コンピュータや自動運転とは質的に異なる可能性もあるのでは。ただ、「箱の中に神がいてすべてができる」という仮定への懐疑は同意します。徐々に社会に入れられ、同じパターンになる可能性の方が高そう。
教育の未来については、post-AGI時代に「楽しみのために学ぶ」という発想は良いですね。ただ、本当に良い教師のバーが非常に高いという指摘は重要。現在のLLMでは、即座に学生の理解を把握し、適切に挑戦的な内容を提供することはまだ難しそうです。
Discussion