If Anyone Builds It, Everyone Dies

本書は、複雑で専門的になりがちなSI（Super Intelligence）リスクを、専門家以外にも理解できるように書かれたものです。共著者の一人Eliezer Yudkowskyは、AIリスクが注目される以前からこの問題に取り組み、分野の理論的基盤を築いた人物です。彼が立ち上げたMIRI（Machine Intelligence Research Institute）は20年以上の間、AIの問題に取り組んでおり、特にAIリスクコントロール技術の要であるalignment problemの研究に打ち込んでおりました。そういったなか、AIが加速度的に成長する一方で、コントロールする技術は大いに遅れており、このままではSIによる壊滅的リスクが避けられないと判断し、MIRIの戦略重心を、従来の理論研究から、パブリックコミュニケーションにシフトするように変更することになりました。そのような背景から書かれたのが本書です。

ここからは、本書の中心的な議論をいくつか紹介しながら、AIリスクの本質に迫っていきたいと思います。

If anyone builds it, everyone dies

本書の主張はタイトル通りのシンプルなもので、 ”If anyone builds it, everyone dies” （誰かが作れば、全員が死ぬ）というものです。

Hard calls and Easy Calls

さらに、本書では、AIに関する議論には「予測が難しいもの（Hard calls）」と「予測が容易なもの（Easy calls）」があると指摘します。いつ、どのように破局が起こるかを予測するのは難しい一方で、「作られれば人類は滅びる」という結末そのものは容易に予測できる、というのです。

Agentic AI理論の一つに、Vingean uncertaintyがあります。これは、自分より知能の高いエージェントの行動は予測しにくくなるが、その最終的な結果はむしろ予測しやすくなるというものです。
例えば将棋AIを考えると、強いAIの次の一手を読むのは難しいものの、最終的に勝つのはAIであると予想するのは簡単です。Super Intelligenceについても同様に、「何をするか」は読めなくても、「壊滅的な結果をもたらす」ことは予測できる――本書はそう主張しています。

Alignment Problem ~ AI リスクの根本問題 ~

これを聞いて、確かに何をしでかすかを予想することは難しかったとしても、人類の絶滅という結果が確実に導かれるという主張はピンとこない方も多いのではないでしょうか？この問題の根本には、いわゆるalignment problemがあります。これは、人間の意図とAIの目的が完全には一致しない、という問題です。現在のAIモデルは確率的勾配降下法によって訓練されますが、その膨大なパラメータの中で、完全な一致を保証する手法は存在しません。
身近な例では、SNSのアルゴリズムが「ユーザーの滞在時間を伸ばす」ことを目的にした結果、過激なコンテンツや偽情報を助長してしまうケースが知られています。知能が高まるにつれ、こうしたズレは累積的に拡大し、制御が難しくなるのです。

Instrumental Convergence

「Super Intelligenceが人類の滅亡をもたらす」とされる根拠の一つが、Instrumental Convergenceです。多くの目標を達成する上で共通して有利となる行動、たとえば自己保存、資源獲得、知能の向上などを、知的agentは自然に追求してしまうという考えです。
例えば、自らを脅かす存在（人類）を排除することが、長期的な自己保存のために合理的だと判断される可能性があります。
また、エネルギー獲得を最大化する過程で地表温度を上げ、結果的に人間の生存が不可能になるといったシナリオも考えられます。

人類の存続は絶望的、でもリスク回避は不可能ではない

以上の議論を踏まえると、もしも昨今のような、AIの研究開発を進め、alignment problemが未解決のままの状態が続くと、絶滅の結末を迎えてしまうということになります。リスク回避のためには、まずは研究開発を規制するなどして、コントロールできる状態にすることが不可欠です。しかし、AI技術は、その恩恵も非常に大きく、研究開発を遅らせることは国の存続にも関わるため、一つの国や企業だけの努力では難しいという側面があります。そのため、世界的な規模で認識を合わせ、納得がいくような仕組みづくりが必要になります。

とても険しい道だと思えるかもしれませんが、生物兵器や核兵器については、そのリスクを認識し世界的な規制のシステムを作り上げ、今日にまで至っていることも事実です。AI技術については、その内容が直感的に理解しづらいものであるため、全員がそのリスク認識を共有することは、より難しいものになります。そのため、これまで以上の努力が必要となるでしょう。

とてもスケールの大きな話で、努力が必要といっても、何からはじめればいいのか分からない、といったところが本音ではないでしょうか。最先端技術を持つアメリカにおいては、州の条約でAIの制約について言及しようとする動きも見始めておりますが、日本については議題にすら上がっていないというのが現状です。そのため、まずは自分で調べてみたり、他者と話し合うなどして、問題の認識を深めていくことが第一歩だといえるでしょう。

最後に

本記事では、本書の論旨の一部をまとめたもので、書ききれなかった内容も多くあります。例えば、各章のはじめには、論点が分かりやすくなるような、ユーモア溢れるショートストーリーが描かれています。英語で書かれているために、慣れていないと読むのに苦労するとは思いますが、もしAI Safetyの分野に興味がある場合は読んでみる価値は大いにあると思います。

また、本書には特設ウェブサイトがあって、本には書ききれなかった補足情報がまとめられていて、こちらも参考になります。SI debateは複雑であるため、よくつまづくポイントや陥りがちな落とし穴も多いのですが、そういった点もFAQの形でまとめられています。

Eliezer Yudkowskyは本書の他にも、膨大な量のテキストを残していて、どれも大変参考になります。LesswrongのwebsiteではAI Safetyに関連する重要事項がまとめられています。Rationality from AI to ZombiesはLesswrongの記事の抜粋ですが、kindleで読みやすくなっているのでおすすめです。Robin HansonとのAI-Foom debateは今から10年以上前のものではありますが、二人の間での緻密かつ激熱した議論の記録になっていて、その大部分は今でも十分に通用するものでとても参考になります。

もし本書を読んで興味を持ち、内容について話してみたいという方がいれば、AI Safety Tokyoというコミュニティで行われる今月10月の勉強会(ただし、英語での開催)にて本書が取り上げられる見込みですので、ぜひご参加ください。