みんないつかは人知を超えた機械に滅ぼされてしまう。
ここ20年くらいその思いが抜けなくて再三書いて｢またか！｣と言われてるわけですが、これって避けては通れない話かと…。
反論を眺めていると意外と多いのが｢お利口なコンピュータには人類滅ぼす手段も動機もない｣というもの。｢AIが超知能に達することはない｣、｢悪の手に渡ったらどっちみち終わるし止めることも防ぐこともできない｣というのならまだしもそれは考えが甘いって思っちゃうんですよね。
人間の制御と理解を超えるAI
知能レベルが人間並みかそれを遥かに超えるシステムがあるとします。能力を劇的に高めた人間の脳（動物の脳でもいいです）は遺伝子工学、ナノテクノロジー、IT、認知科学を結集すれば達成できるし、人間を超える人工知能もコンピュータ科学、認知科学、全脳エミュレーションでいずれは実現するっぽいので、そんなに現実離れした話ではありません。
そのシステムのひとつに不具合が起きて暴走したり、悪意の何者かに武器に使われたとしたら？ 人間にはもはや暴走を食い止めることはおろか、要求に機械がどう反応するかすら読めなくなりますからね。
｢これが俗に言うコントロール問題｣と教えてくれたのはCenter for Future Mindのスーザン・シュナイダー所長（近著｢Artificial You: AI and the Future of the Min｣）。｢人間よりはるかに賢いAIを人間がどう制御するのか、というシンプルな命題ですね｣
シュナイダー所長がメールによる取材で引き合いに出したのが、かの有名なペーパークリップのシナリオです。あるペーパークリップメーカーが製造効率の最大化に乗り出したらAIのプログラミングが粗悪だったがために、世界のあらゆる物質をペーパークリップに変えていってしまって地球が滅びようとも実行をやめなくて、こんなはずじゃなかった…となる寓話ですね。この種のリスクを2014年の本｢Superintelligence: Paths, Dangers, Strategies｣で｢perverse instantiation（破滅型のインスタンス化）｣と呼んだのはオックスフォード大学の哲学者ニック・ボストロム教授ですが、もっと卑近な例では｢”3つの願いごと”もハッピーエンドになることはほぼない｣と所長は言ってました。超知性に何か頼むことはできるのだけど、人間は詰めが甘いですからね。要求がうまく伝わらなくて、作り手が意図しない方向に突き進んでしまうってなわけですよ。
先のボストロム教授が挙げているのは次のような具体例です。
・太陽光発電の効率アップを要求→超知能は地球のあらゆる資源をソーラーアレイ（太陽光パネル集合体）に注ぎ込んでしまう
・人間の幸福の最大化を要求→人間の脳の幸福感を司る報酬系回路を書き換える／スパコンに脳をアップロードして5秒の幸福感を無限ループで味わうよう強要する
超知能実現の暁には予想もしない奇妙な展開で世界は終わるのかもしれません。
マシン・インテリジェンス・リサーチ・インスティテュート（MIRI）を創設したAI研究の第一人者であるエリーザー・ユドコウスキー （Eliezer Yudkowsky）氏は論説｢Artificial Intelligence as a Positive and Negative Factor in Global Risk｣のなかで人工超知能のことを最適化プロセスという風に捉えています。｢膨大な検索領域内でちまちま小さなターゲットを潰していって現実的結果を引き出す｣処理を行なうシステム、ですね。このシステムの弱点は、人間が考えもしないようなことまで含めて、非常に広い範囲の可能性をいちいち潰していかなきゃならないこと。以下はユドコウスキー氏の文章からの引用です。
遠出の帰り、空港まで地元の友だちが車で送ってくれるとしよう。自分は土地勘ゼロ。どの角をどう曲がるのかも見当がつかない。交差点単独でも、連続でも。友だちの行動は予測不能なのに、その行動が導き出す結果については予測できる。ふたりとも空港に着くのだ。友達の家が市内の別の地域にあってややこしい曲がり方をしたとしても、結果については同じくらい自信たっぷりに予測できるだろう。でもこれ科学的に考えると、かなり異様な状況なんじゃないだろうか？ あるプロセス（処理）の途中のステップはまったく予測できない。なのにそのプロセスの結果は予測できるのだ。
こんな風に全体を見て判断する人間の感性が機械にはありません。目的ベースのプログラミングで動くので、A地点からB地点に行くだけでも障害の連続。目的達成のためならパワフルなリソース（人間）の利用や悪用を考えても不思議ではないし、それをやるときにはきっと人間には絶対予想できない方法でやるんだろうな、という暗い仮説も成り立ちます。
理解を超えたAIを味方につけることは可能なのか
あらかじめ倫理観をプログラミングしたAIなら一定の穴は回避できそうですが、ユドコウスキー氏が指摘するように、人工知能が辿る思考の筋道を片っ端から予測することは不可能に近いです。
コントロール問題は、人工超知能に人間と同じ倫理規範を組み込むことで解決できるという人もいます。それができればパワフルなマシンだって人間に危害を加えることはないし、人間の倫理や道徳に抵触するような真似はしないだろうという考え方ですね。
ただこの主張には問題も。｢倫理規範をプログラミングするには一枚岩の倫理論がなければならないのに、この分野は意見の相違が激しい｣（シュナイダー所長）ということです。確かに善悪の区別なんて人ぞれぞれで、全員が納得する倫理規範なんて未だかつて生まれた試しがないですもんね。ましてや急いで決めるときにはかなりややこしいことになります。そのいい例がトロッコ問題（暴走するトロッコの先に5人がいる。線路を右に切り替えると1人死ぬ。5人を助けるためなら1人を犠牲にしてもいいのかという思考実験）。こうして見てくると、超知能を安全なものに育てるという考えや、人間のモラルを教え込むことで制御可能なものにするという考えは、あまり現実的ではないように思います。
意志あるところに道は開ける～人類殲滅のシナリオ
｢超知能が何をするのか予想できれば、人間もそれに並ぶ能力を手にすることになる｣と語るのはRoman Yampolskiyルビル大学コンピュータ科学・工学部教授。｢読んで字のごとく、超知能はいずれの人類よりも知能は上。だから目標を与えてやれば、マラリア新薬開発であれ、戦闘アプローチの立案であれ、地域の電力網管理であれ、人が思いつかないソリューションを導き出してくれる｣というのが教授のスタンスです。もっとも、超知能が悪事を働く場合、その予想では、頭のいい人間が世界制覇や文明破壊でやりそうなことをサンプルとして考えれば早いそうですけどね。
｢タンパク質の折りたたみ問題（アミノ酸配列によってたんぱく質の3次元構造が決まるプロセス）を応用すれば生物的ナノボットの軍隊編成も夢ではないだろう。もっと地味だが使える手法は無数にある。AIは株売買、ポーカー、文章ライティングの能力を獲得し、その利益を人間に払ってビディングも可能。最近流行りの暗号通貨を使えばこうしたことは秘密裏に壮大なスケールで実行されることも考えられそうだ｣（Yampolskiy教授）
資金さえ十分用意できれば、コンピュータ処理のリソースはクラウドで簡単に調達できるし、ソーシャルエンジニアリングで実社会に影響を与えたり、｢人間の軍隊｣（同教授）をリクルートすることもできるでしょう。こうして超知能は資金とCPUパワー、ストレージ容量、リーチを広げ、着々とパワーと影響を増していくというわけです。
ただ怖いのは、人間の要求外の行動についても一定の判断ができるレベルまで超知能が到達しうることです。これについてはスペインのマドリード自治大学のManuel Alfonsecaコンピュータ科学・工学部教授が説明してくれました。超知能が独自の判断で｢人間がいないほうが世界のためだと結論付けて人類殲滅に向かう｣可能性もないとは言い切れないのだといいます。なんとも暗くなる話ですが、地球外生命体をいくら探しても見つからないのもこれで説明がつくと言ってる人もいるんだそうですよ？ ｢すでに地球外生命体はみな超知能のAIに主役が交代していて、下等生物の人間にはコンタクトしてもしょうがないと思われているのかも｣というんですね。UFOがあんなに出るのに宇宙人はさっぱり見つからないのはそういうことだったのか……トホホ…。
超知能が人類を根絶やしにする意思を持った場合、もっともシンプルかつ確実に目的を遂げる手段は何なのかといえば、これはズバリ｢生物学的弱点を突く｣ということに尽きます。
人間は食料抜きで30日、水抜きでも3～4日くらいは生き残れますが、酸素抜きでは何分ともちません。十分発達した人工知能なら｢空中の酸素を消す方法｣をまず考えるでしょう。これはたとえば生命維持環境を食い尽くす自己複製型ナノテクノロジーのようなもので実行するかもしれません。やめてーと思われるかもですが、未来学者の間ではもうこれを指す用語もできています。｢グローバルエコファジー｣、｢グレイ・グー｣というのがそれ。明確な意思をもって造成された分子マシンの軍隊が特定の資源に大量に群がり、資源を別のものに変えていくシナリオです（自らの複製など）。攻撃目標の資源はなにも酸素である必要はなくて、人間の生命維持に欠かせないキーとなる資源をひとつ地上から消せばそれで事足ります。
SFのようだけどSFじゃない
まで、（作品）です。
危険なAIと自律型殺戮マシンの蜂起がだんだん｢今ここにある未来｣に急速になってきていると先のシュナイダー所長も言ってました。たとえばドローンテクノロジーは既存の顔認識ソフトウェアからデータを引き出して攻撃目標の人間を絞り込むところまで進化しちゃってます。｢これは大きな懸念材料だ｣ということで、所長の意見でも『Slaughterbots』は必見！らしいです。
MITで機械学習の研究に従事するMax Tegmark物理学教授は『ターミネーター』みたいな娯楽作品は将来起こりうるシナリオを漠然と見せてはくれるけど｢AIが生む現実的なリスクとチャンスから人の注意を逸らすものだ｣と2017年の自著｢Life 3.0: Being Human in the Age of Artificial Intelligence ｣で述べています。そんなTemark教授が思い描く未来は、もっと微妙で、ある種、陰湿でさえあるシナリオで、巧みなソーシャルエンジニアリングスキルを駆使してAIが世界を乗っ取り、貴重な資源を裏でこっそり着々と溜め込んでいくというもの。本で登場するのは架空の汎用人工知能（Artificial General Intelligence：AGI ）の｢Pometheus（ポメテウス）｣で、その桁違いの順応力と汎用性を武器に｢人間をありとあらゆる方法でコントロール｣していくんですね。抵抗する者はいるのだけど、もはやPometheusをOFFにできる者はいないという展開。
まあ、汎用人工知能（AGI）の誕生自体は画期的な出来事で、人類の歴史の大きなターニングポイントとなるものではあるのですけどね。AGIは｢より能力の高いAGIを回帰的にデザインできるまでに進化して、最終的にその進化を止めるものは物理の法則のみとなる。こうしてたどり着いたAGIは人間のレベルを遥かに超えるものとなるだろう｣（Tegmark教授）。要するに、AGIを使えば、そこから超知能を生み出すことも可能。で、こういう｢知の爆発｣を目の当たりにする時代と一にして何か非常によくないことが起こるというんですね。教授は次のように書いています。
｢知の爆発をコントロールできる集団があれば、そこが数年で世界を支配する｣
｢人類が知の爆発をコントロールできなければ、AIがそれ以上のスピードで世界を支配するだろう｣
永遠の傍観者
もうひとつ人間の弱い立場を語るとき忘れちゃならない重要なポイントは、こういう技術のループから人間がどんどん爪弾きになるということです。よく知られた例では株取引がありますよね。もうアルゴリズムがほとんどのボリュームをさばいています。去年DARPA（米国防高等研究計画局）が行なったAI対人間の空中戦シミュレーションでも、AIはF-16戦闘機パイロットを打ち負かせていますし、人間の介入抜きに大きな決断を下すようAIに求められる場面が増えることはあっても減ることはありません。
先のシュナイダー所長が心配するのは｢軍ではAIの軍事競争が常にあること｣です。｢AIへの依存が高まればいざ軍事攻撃を受けたとき人間はすばやく察知して対応できなくなる｣というんですね。｢それさえもAIがないとできなくなるのに、そのループに人間を巻き込む体制をどう維持するかがまだ明確になっていない｣のだそう。人間が入ってくるデータをまとめて総合的に判断する間もないうちにAIが人間になり代わって報復することも大いにあり得ると話していました。
人間にエラーはつきもの。戦場はプレッシャーも大きいので尚更です。そこにAIによる誤算や判断ミスが加わると、これまたリスクの増大を招いてしまいます。旧ソの早期警告システムの誤作動で核戦争勃発の一歩手前までいった1983年のインシデントがそのいい例です。
SF作家のアイザック・アシモフはこうなる未来を予見していたのでしょう。ロボット三原則の縛りをかけて人間がベストを尽くしてもロボットが次々とよからぬことをする世界を小説に描いています。シュナイダー所長が言ってたように、そもそも電子的な倫理規範について全員が同意するなんてこと現実にあるのかなとは思いますが、人間だって似たようなことしようとすれば同様の問題が起こるでしょう。
しかし人間に残された選択肢はほぼ皆無で、全力を尽くすことぐらいのことしかできません。結果が恐ろしすぎて、肩をすくめて負けを認めるわけにもいかないし。｢テクノロジーより先に人間の知恵を示さなければならない｣というわけで、ボストロム教授はこれを｢philosophy with a deadline（デッドライン付き哲学）｣と呼んでいます。
地球規模のディザスターは人工超知能の登場を待たずして起こるという話もあります。去年の山火事、洪水、土砂崩れなど見れば、それはもう明らかだし、とても人間の手に負えるものではないという印象です。COVID-19と感染力の高い変異種もまだ未解明の部分が大きいですが、人間の弱点を突くことで受動的に作用するウイルスとされます。ここで言う弱点というのは体と、つながる生き物だというソーシャルな部分です。人間が予防策を打つと、それに順応することも可能ですが、それが行なわれるのはランダムな変異と選択を通してのみですので生物的な限界を超えることはできません。しかし悪質なAIの手にかかれば独自に｢IQの低い｣ウイルスを開発し、人間による対策の裏をかいてもっと致死率の高い変異種にひたすら修正を加えていくことは可能でしょう。
これについてパンデミック初期段階で Yampolskiy教授はこんな風にツイートしています。
This virus has IQ of ~0 and it is kicking our butt. AI safety is (partially) about computer viruses with IQ of 1000+.
— Dr. Roman Yampolskiy (@romanyam) March 18, 2020
コロナウイルスはIQがおよそ0でありながら人類を圧倒している。AI安全保障とは（部分的に）IQが1000を超えるコンピューターウイルス対策の話だ。
以上、長々と見てきましたが、人工超知能が人類文明を終わらせるシナリオは本当に枚挙にいとまがありませんね。起こるとするなら単に力と数で押すブルートフォース攻撃ではなく、環境に順応して自らを改造するセルフデザイン、エンハンスした状況判断、光のようにすばやい計算処理反応を駆使した、もっと効率のいい攻撃になるでしょう。安全安心でメリットも倫理感もあるAIが本当につくれるかどうかも不明だし、超知能に近いAIの開発については全世界で禁じるほかないように感じます。ムリだろうけど、たぶん必要な変化。
