Statement on Superintelligence
2025年10月22日、superintelligenceの開発禁止を求める声明が発表され、AI研究者をはじめ、多くの著名人からサインがなされています。内容は30語で簡潔にまとめられています。
We call for a prohibition on the development of superintelligence, not lifted before there is
- broad scientific consensus that it will be done safely and controllably, and
- strong public buy-in.
superintelligenceのリスクについては以前こちらに書きましたので今回は触れません。
そもそもなんで声明を出すの…?
AIリスクについて勉強を始めた当初の僕は、こういった声明が存在することは認識していたものの、内容自体になんの法的効力ももたないようなものをどうしてあえてやっているのだろうと、意義についてはわかっておりませんでした。
しかし一度、自らAIリスクを伝える側に立ってみると、その意義を強く実感するようになりました。
リスクについて説明するときに、うまく十分に説明し尽くすことができなくて、苦労していました。しかし、導入として、こういった声明の例を挙げて、AI研究でノーベル賞を受賞するような最先端の研究者もサインしている、というとこから話始めると、最低限の信憑性を得ることができます。つまり、こういった声明は、単なる署名運動ではなく、社会全体に「議論の出発点」を提供するという点で重要です。
AIリスクは簡単には理解できない
前提として、AIリスクの議論はとても複雑で難解です。それを納得するまで理解するためには、世間話のついで、一回の勉強会、本を数冊読むといったことだけではとても足りません。そもそも、AI自体を理解することが難しいからです。AIの仕組みを理解するだけでも時間がかかるのに、その上でリスクを考えるとなると、なおさら大変です。そのため、ほとんどのケースにおいて、AIリスクに関する主張の論理を理解してもらうことは非現実的です。
さらに、説明者への信頼がなかったり、内容に懐疑的であれば、そもそも話を聞いてもらうことすら難しいでしょう。
議論の出発点としての声明
論理の全てを理解してもらうのは難しくても、間接的に結論の信頼性を上げる方法はあります。声明を引用することもその一つで、信頼できる研究者が同じ結論を支持しているという事実を示すだけでも効果的です。
たとえ主張の論理構造をすべて理解してもらえなくても、「この主張は一部の人の思いつきではない」と伝わるだけで、議論の出発点が得られます。これにより、耳を傾けてもらうための入口をつくることができます。
つまり、声明は社会に対して「議論を始めるための最低限の信頼」を提供する装置でもあるのです。
でも、自分でも中身を理解したい！と、いう方へ
とはいえ、専門家がそうだと言っているから、みんながそう言ってるから…では物足りない方もいるかと思います。もし、自分でもちゃんと真偽のほどを確かめたい、納得したい、もっとよく知りたい、理解したい、説明できるようになりたいというような方がいれば、ぜひAI Safety Tokyoの勉強会にご参加ください！このコミュニティでは、定期的にAI Safetyにまつわる内容の勉強会を行なっています。
ちなみに…Statement on Superintelligenceについての補足
このstatementのページでは、本宣言に関する関係者からのコメントも一覧することができます。サインした人とそうでない人とでそれぞれまとめられていて、どのように捉えられているのかを一望することができて便利です。ただし、サインしていない人のコメントについては注意が必要です。多くはstatementへの直接コメントではなく、過去の発言を引用したもののようです。
サインをした代表的な人としては、Turing Awardを受賞したAI研究者のYoshua Bengioがいます。
Frontier AI systems could surpass most individuals across most cognitive tasks within just a few years. These advances could unlock solutions to major global challenges, but they also carry significant risks. To safely advance toward superintelligence, we must scientifically determine how to design AI systems that are fundamentally incapable of harming people, whether through misalignment or malicious use. We also need to make sure the public has a much stronger say in decisions that will shape our collective future.
サインをしていない著名人としては、OpenAI CEO Sam Altmanがいます。
Development of superhuman machine intelligence (SMI) is probably the greatest threat to the continued existence of humanity.
ちなみに、立派な肩書きがなくても誰でもサインをすることができます。僕もサインをして、”AI界のスーパーヒーローたちと同じ文書にサインをした”という謎の高揚感に浸ってみました。自分には何の権威もないので、文書の権威を1mmも上げてはいないのですが…
Discussion