【ポエム】最後に人が責任を取る社会である限り、人の理解の及ばない出力が技術上は可能でも、現実的には不可能なことをエヴァで説明する試み
お茶の間で夕飯時に流れてましたね。当時は小学校低学年くらいで、序盤しか記憶にないので、早々にニュース番組か『フルハウス』辺りに切り替わったのか（うろ覚え）。『ミュータント・タートルズ』と『愛天使伝説ウェディングピーチ』は見てた記憶あるんだがなぁ。
はじめに
対象
- 『新世紀エヴァンゲリオン』を見たことがある人向け。
- AIが直接マシン語を吐く系の言説に疑問を呈している人向け。
アニメ画の引用も面倒なので、文面での説明を試みたのですが。まずエントリープラグの説明からして難しい。ガンダムやレイアースみたいに簡単に乗れないんだ。でもあれやそれを説明していると、記事の半分くらいが解説で埋まるんだ。見た前提で説明することを、どうか許して欲しい。
ちなみにこれらを一緒くたにして「エヴァ？ ロボットでしょ？」などと言うと、方方からお叱りを受ける可能性があるので、未履修の方は気を付けるのじゃよ。
技術的に可能でも社会的に不可能
人間はインターフェイスであり続けるか
あと何年かは分かりかねますが、しばらくの間、人間はインターフェイスであり続けることでしょう。五感から情報を得、それをデバイスを介してシステムに伝え、結果をやはり五感で受け取るのでしょう。最終的なインターフェイスとしての人間は当分、変わりそうにありません。
例えば全身をサイボーグ化するとか、電脳空間に脳味噌ごとぶち込むとか、手術して脳味噌にチップを埋め込むとか。そういった「人間やめますか？」レベルの魔改造でもしない限りは。
いくらAIがどんどん進化すると申しましても、カセットテープレコーダーからスマートフォンに変わるような超絶進化が望めない以上、AIの出力結果もまた人間というインターフェイスに合わせていくことになります。人間の頭にいきなり四次元以上の情報は放り込めません。
いつの時代も責任を取るのは人
個人・チーム・会社・地域・国。この世には人によって構成される様々な集団がありますが、最終的に責任を取るのはいつだって、この広義の人です。
包丁や拳銃で故意に人を殺めた者がいれば個人が、国同士が戦争をしたら国やその代表が責任を取らされる訳です。車で交通事故を起こしたら、何が原因か徹底的に検証されます。自動車メーカーか、道路状況か、運転手か、自動運転プログラムの開発者か。
では仮にAIを用いた道具や製品によって事故が発生したとしましょう。人間が実況見分するにあたり、「全部AIがやってて、人間にも理解できない出力結果をバトンのように渡しているので、何が起きたのか分かりません」で通用するでしょうか。
もちろん技術的には完全に人間を排除したシステムは可能です。中間結果を全てブラックボックス化して、入力に対して結果だけ渡し、それを未検証のまま人間が利用する。
しかし人間社会で最終的に責任を取るのが人である以上、何か起きてからでは遅い以上、何らかの結果を享受する前には、必ず人間による検証が必要になるのは自明です。
エヴァで説明する責任を取るということ
抽象的過ぎてよく分からないと思いますので、エヴァのいくつかのエピソードを用いて、Webアプリを作るITエンジニアとしての視点も踏まえながら、解説を試みてみます。
非常事態に手動でリカバリが可能であること
第拾壱話『静止した闇の中で』 停電中に使徒と交戦する話
「全部システム化してて中身分かんないから、停電の影響でエヴァ発進できません」
そんなことが許されるでしょうか。人類が生き残るためには、無理でもエヴァを動かさないといけません。GitHubが落ちてるから帰ろうだとか、トークンなくなったから踊ってるとか、そんな戯言は許されないのです。これは人命に近い領域ほどそうでしょう。
普段は安全に囲まれていて意識していませんが。家具や家電、エレベーターやエスカレーターなどの設備が安全なのは、血で書かれたマニュアルと対策があるからです。AIが身近に浸透し生活を便利にすれば、当然AI由来の事故も発生するでしょう。自動運転がいい例です。
話をエヴァに戻しますが、まず停電でも詳しくない人が通行可能である。これが凄い。普段は電動で開くドアも手動で頑張れば開けられる。何よりそれが、きちんと伝わる。徒歩だけでなく車でも乗り入れ可能。メンテナンス用というだけではなく、非常事態に備えてますよね。
そして手動でもエヴァンゲリオン発進できる。何やってるか理解していて、日々メンテナンスもしているからできることですよね。Webアプリの現場だと、自動化したCI/CDが前任の有識者不在で、動かなくなってもどうしたらいいか分からないとか、よくありますけども。
部分的にでも生きてれば、そこだけシステムに任せて時短することもできますし。時間的コストの高い処理の間は、人間が介在する余地を設けていた方が良さそう。と、ここまで考えてみても、人間が理解不能な部分を増やすことは賢明とはいえない気がします。
道を誤ったとき人の手で修正が可能であること
第拾参話『使徒、侵入』 MAGIシステムが自爆決議してる話
「人類はいっぺん滅んだ方がいいと、AIはそう判断しました」
私も人間はもう少し謙虚になった方がいいと思いますが、滅ぼされるのは勘弁したいです。MAGIシステムと呼ばれているものが、人工知能寄りなのかAI寄りなのか調べても分からなかったので、その辺はスルーしていきますが（人格移植OSというものらしい）。
まず何十にも停止する手段があって、迅速にそのオペレーションができると。MAGIが敵に回ることはあの反応からして想定外だった筈ですが、リツコ博士だけでなく日向二尉や青葉二尉も練度が高い。チームのメンバーが障害発生時にあそこまで動けるか自問自答なう。
リツコ博士「ロジックモードを変更！ シンクロコードを15秒単位にして！」
これは中で何が起きているか理解していないと出てこないと思うんだ（安心して欲しい、私も何やってるかよく分からない）。そして人間側が手動で設定を変更できるようになっているってこと。そしてそして対抗策も考案することができると。
もしここで人間の関わり自体が性能劣化に繋がるとかで、MAGIへの信頼100%駆動で開発と運用が成されてたら、自爆して吹っ飛んでたと思うんですよ。もし今後、AIが出してきた結果を検収せずに本番に持ってこうとする輩が現れたら全力で阻止したい。
何者かに悪用される可能性を常に考えること
第七話『人の造りしもの』 奇跡が用意されてた話
「核ミサイル発射準備」
アニメあるあるですが、人工知能やAIが核ミサイルの発射スイッチを押したり、迎撃システムが勘違いしてICBMが発射されそうになったり。アメリカ国防総省はよくハッキングを受けている。アニメの話ですよ？ あの時代はそういうの、多かった。隙あらば核兵器だった。
エヴァでも使徒が出てきて人類が一致団結……とはならず、人類の敵は人類で。何にせよAIそのものが、悪意を持つ人間によって利用されることは想定しておくべきでしょう。どこかの企業の新技術がスケープゴートにされることだってあるかもしれない。
画像生成AIも技術的には可能で著作権・肖像権的にアウトだったりする訳ですが、見える範囲で制御可能な部類なのでまだマシかもしれません。人間に見えないところで、何の防波堤もなしに動くようになったらマジで収集付かなくなりそうです。
あまりにも陰謀論が過ぎるので、少し早いですがこの辺で。
おわりに
「事実は小説より奇なり」といいますが、最近は現実がフィクションよりぶっ飛んでて、未来感と終末感が交互に押し寄せてますよね。
マシン語の件はTwitterで風の噂に聞きましたが。AIだけしか触らなくていい、人間がコードレベルで関わることがなくなるというのは、個人的には違うのではないかと考えています。誰も責任を取らなくてよくなる社会なら別かもしれませんが。うん、やった者勝ちみたいな世紀末。
エヴァ本編で散々やってましたが、「最後の最後で人がどうにかできる手段は確立しておかないと、責任が取れないよね」とは考えており。「現実的にそうならざるを得ないよね」ってところで、予測するのはありよりのありかなと。
良くも悪くも人が面倒を見ないといけないということは、ITエンジニアの仕事は残り続けるということで、つまり私の隠居は……？
Discussion