AGI riskについて

はじめに

AI技術は日常に溶け込んでおり、ChatGPTなどのツールはすでに欠かせない存在になりつつあります。しかし、AIは便利である一方で、相応のリスクがつきまといます。身近なものでは、LLMのハルシネーションによる誤情報やプライバシー侵害などがあげられます。さらに最近では、その性能が加速度的に成長するあまり、最終的には人類の存続に関わるような、”AGI risk”というものが専門家や政府関係者で議論され始めています。こういったAIにまつわる様々なリスクについて対策をしたり、安全性について考える分野は特にAI Safetyと呼ばれ、活発に議論がなされています。本記事ではこのAGI riskやAI Safetyについて書いています。

AGI risk

AIの中でも、人間に匹敵するレベルの普遍的知能をもつものを特にAGI（Artificial General Intelligence）と呼ぶことがあります。AIリスクのうち、人類がAGIのコントロールを失うことにより生まれる壊滅的リスクに至るようなものは、AGI risk、existential risk、intelligence explosionなどと呼ばれていて、大きな問題になっています。含まれるシナリオとしては、AGIが自己保存や資源獲得を目的として暴走し、その過程で地球や人類に壊滅的な影響を与えるというものです。

規模が壮大すぎるあまり、SFやカルトの話のようにも受け取られがちではありますが、特に英米では政府や専門家も真剣に向き合っている課題になっています。アメリカではAI技術のステークホルダーが集まり、”存続に関わるAI riskについて対策をすることは、パンデミックや核戦争の場合と同様にグローバルで優先されるべきである”という声明が出され、多くのAI関係者がサインしています。サインした人の中には、2024年にノーベル物理学賞を受賞したGodfather of AIとも称されるGeoffrey Hintonも含まれ、彼はAI Safetyについて自由に発言できるようにするために所属していたGoogleを去り、今も活動を続けています。

AIリスクを低減するには

AIリスクが大きく無視できないものであったとすると、それを低減するために何ができるのでしょうか？AGIリスクを防ぐためには、AIモデルが過度に高性能にならないようにするために、大規模モデルトレーニングを規制・AI研究開発の規制・トレーニングチップの製造販売規制などの方法が考えられます。これに向け、例えばCalifornia州では一定規模以上のAIモデルを開発する企業に対し、AIモデルの安全基準の遵守や評価レポートの提出を義務付ける法案が提出されるなどの動きがあります。国際的規模のものでも、研究機関やシンクタンクなどから様々なフレームワークが提案され、今も活発に議論がなされています。

「AI開発は英米や中国が先行していて日本ではまだまだだから、自分たちには関係がない」と思えるかもしれませんが、そんなことは決してありません。最先端の研究開発は英米中が圧倒的にリードしていることは事実ですが、AI開発に不可欠のハードウェア資源については、各国の独自技術からなるグローバルサプライチェーンが構成されています。例えばAIモデルのトレーニングに必須のGPUでは、米NVIDIAがデザインしたチップを、台湾のTSMCが製造していて、その製造に必要なEUV lithography 装置はオランダのASMLが提供し、シリコンウエハやフォトレジストは日本が多くを提供しています。このように、AI開発には多くの国が関わり合っているため、そのガバナンスには国際的な協調が不可欠になります。

AI技術はすでに経済と深く複雑に結びついているため、私たち一人ひとりがこの問題とどう関わるべきかを考える必要があります。しかし、日本ではまだAIリスクに対する社会的な関心や議論が十分ではないのが現状です。メディアでも学術界でも、このテーマが本格的に取り上げられることは稀で、多くの人にとって「まだ先の話」「SF的な話」として捉えられがちです。
　この状況を変えるためには、まず「overton window」をシフトすることが重要です。overton windowとは、ある時点で政治的・社会的に受け入れられる政策や議論の範囲を指す概念です。つまり、AI Safetyの問題を「真剣に議論すべき現実的な課題」として社会に認識してもらうことから始める必要があります。
　これは決して簡単なことではありません。なぜなら、AI Safetyの問題は技術的に複雑で、かつ長期的な視点を要求するからです。しかし、パンデミックや核開発の問題と同様に、早期の認識と準備が重要になります。そのためには、各自がAI技術やそのリスクについて理解を深め、周囲との対話を通じて社会的な議論の土台を作っていくことが不可欠です。

でもいったい何からはじめれば…

興味を持ったけれど、AIについてはさっぱり分からないし、何から始めればいいのか分からない…という方も多いのではと思います。そんな方には特にMax TegmarkのLIFE 3.0がおすすめです。プロローグではexistential riskの架空のシナリオが描かれていたり、AIの仕組みについて詳しくない方への簡単なイントロが含まれていたりと、一般の人でも分かりやすいように工夫されています。

また、bluedotのような学習サイトや、lesswrongのようなAI Safety関連情報がまとめられ議論されているオンラインフォーラムなどもあります。

他にも、AI Safety Tokyoでは、月に一度のペースで勉強会を行なっています。あるテーマに基づいて、重要な論文やトピックを選び、内容について話し合うというものです。AI Safetyについて議論してみたい、コミュニティの雰囲気を感じてみたい、などご興味があればぜひご参加ください。ただし、英語での開催ですので、一定レベルの英語力は必要です。

英語は自信がないけど、勉強会があれば参加したい、という方向けに、日本語での開催を企画しようとしております。一定人数以上集まれば開催しようと思いますので、こちらもご興味がある方は私までご連絡ください。