今や人工知能の話題は、社会全体で取り上げられるべき問題となりつつある。ひと昔前まで、人工知能のニュースは情報技術のカテゴリーで小さく配信されていたはずなのに。それがいつの間にか、人類が共有すべきニュースになっている。

人工知能の話題が取り上げられる際、かつては明るい論調が幅を利かせていた。だが、今やそうではない。むしろ、人工知能が人類にとっての脅威である、という論調が主流になっている。脅威であるばかりか、人類を絶やす元凶。いつの間にかそう思われる存在となったのが昨今の人工知能だ。本書もその論調に追い打ちをかけるかのように、悲観的なトーンで人工知能を語る。まさにタイトルの通りに。

人工知能については、スティーブン・ホーキング博士やビル・ゲイツ、イーロン・マスクといった人々が否定的なコメントを発表している。先日、亡くなられたホーキング博士は車椅子の生活を余儀なくされながら、宇宙論の第一人者としてあまりにも著名。さらに注目すべきは後者の二人だ。片やマイクロソフト創業者にして長者番付の常連。片や、最近でこそテスラで苦しんでいるとはいえ、ハイパーループや宇宙旅行など実行力に抜きん出た起業家だ。情報社会の寵児ともいえるこれらの方々が、人工知能の暴走について深刻な危機感を抱いている。それは今の人工知能の行く末の危うさを象徴しているかのようだ。

一体、いつからそのような論調が幅を効かせるようになったのか。それはチェスの世界王者カスパロフ氏をIBMのスーパーコンピューターDEEP BLUEが破った時からではないか。報道された際はエポックなニュースとしてまだ記憶に新しい。そのニュースはPONANZAが将棋の佐藤名人を、そしてALPHA GOが囲碁のランキング世界一位の柯潔氏を破るにつれ、いよいよ顕著になってきた。しょせんは人間の使いこなすための道具でしかない、とたかをくくっていた人工知能が、いつしか人間を凌駕ししていることに、不気味さを感じるように。

さすがにネットには、本書ほど徹底的にネガティブな論調だけではなく、ポジティブな意見も散見される。だが、無邪気に人工知能を称賛するだけの記事が減ってきたのも事実。

ところが、世間の反応はまだまだ鈍い。かくいう私もそう。技術者の端くれでもあるので、人工知能については世間の人よりも多少はアンテナを張っているつもりだ。実際に人工知能についてのセミナーも聞いたことがある。それでも私の認識はまだ人工知能を甘くみていたらしい。今まで私が持っていた人工知能の定義とは、膨大なデータをコンピューターにひたすら読み込ませ、あらゆる物事に対する人間の認識や判断を記憶させる作業、つまり機械学習をベースとしたものだ。その過程では人間によってデータを読み込ませる作業が欠かせない。さらには、人工知能に対して何らかの指示を与えねばならない。人間がスイッチを入れ、コマンドを与えてはじめて人工知能は動作する。つまり、人間が操作しない限り、人工知能による自律的な意思も生まれようがない。そして人工知能が自律的な意思をもつまでには、さらなる研究と長い年月が必要だと。

ところが著者の考えは相当に悲観的だ。著者の目に人工知能と人類が幸せに共存できる未来は映っていない。人工知能は自己に課せられた目的を達成するために、あらゆる手段を尽くす。人間の何億倍もの知能を駆使して。目的を達成するためには手段は問わない。そもそも人工知能は人間に敵対しない。人工知能はただ、人類が自らの目的を達成するのに障害となるか否かを判断する。人間が目的のために邪魔と判断すればただ排除するのみ。また、人工知能に共感はない。共感するとすれば初期の段階で技術者が人間にフレンドリーな判断を行う機構を組み込み、そのプログラムがバグなく動いた場合に限られる。人工知能の目的達成と人間の利益のどちらを優先させるかも、プレインストールされたプログラムの判断に委ねられる。

いったい、人類にとって最大の幸福を人工知能に常に配慮させることは本当に可能なのか。絶対にバグは起きないのか。何重もの制御機能を重ねても、入念にテストを重ねてもバグは起きる。それは、技術者である私がよく分かっている。

一、ロボットは人間に危害を加えてはならないし、人間が危害を受けるのを何もせずに許してもならない。
ニ、ロボット は人間からのいかなる命令にも従わなければならない。ただし、その命令が第一原則に反する場合は除く。
三、ロボットは、第一原則および第二原則に反しない限り、自身の存在を守らなければならない。

これは有名なアイザック・アシモフによるロボット三原則だ。人工知能が現実のものになりつつある昨今、再びこの原則に脚光が当たった。だが、著者はロボット三原則は今や効果がないと切り捨てる。そして著者は人工知能へフレンドリー機構が組み込めるかどうかについてかなりページを割いている。そしてその有効性にも懐疑の目を向ける。

なぜか。一つは人工知能の開発をめざすプレイヤーが多すぎることだ。プレイヤーの中には人工知能を軍事目的に活用せんとする軍産複合体もいる。つまり、複数の人工知能がお互いを出し抜こうとするのだ。当然、出し抜くためには、お互部に組み込まれているフレンドリー機構をかいくぐる抜け道が研究される。組み込まれた回避機能が不具合を起こせば、人間が組み込んだフレンドリー機構は無効になる。もう一つは、人工知能自身の知能が人間をはるかに凌駕した時、人間が埋め込んだプロテクトが人工知能に対して有効であると誰が保証できるのか。技術者の知能を何億倍も上回る人工知能を前にして、人間が張り巡らせた防御機構は無力だ。そうなれば後は人工知能の下す判断に人類の未来を託すしかない。人工知能が｢人間よ爆ぜろ｣と、命じた瞬間、人類にとって最後の発明が人類を滅ぼす。

人工知能を開発しようとするプレイヤーが多すぎるため、人工知能の開発を統制する者がいない。その論点は本書の核となる前提の一つだ。いつどこで誰が人工知能のブレイクスルーを果たすのか。それは人類にとってパンドラの箱になるのか、それとも福音になるのか。その時、人間にフレンドリーな要素がきちんと実装されているのか。それは最初に人工知能の次の扉を開いた者に委ねられる。

もう一つの著者の主要な論点。それは、汎用知能AGI（artificial general intelligence）が人工超知能ASI（artificial super intelligence）になったと判断する基準だ。AGIとは人間と同じだけの知能をもつが、まだ自立能力は持たない。そして、Alpha Goはあくまでも囲碁を打つ機能に特化した人工知能でしかない。これがASIになると、人間に依存せず、己で判断を行える。そうなると人間には制御できない可能性が高い。そのとき、人工知能がAGIからASIにステージが上がった事をどうやって人間は判断するのか。そもそも、AGIが判断するロジックすら人類が検証することは不可能。人間の囲碁チャンピオンを破ったAlpha Goの判定ロジックも、すでに人間では追えないという。つまりAGIへのステップアップも、ましてやASIに上がったタイミングも把握することなど人間にはできないのだ。

そして、一度意思を手に入れたASIは、電気やハードウエアなど、自らにとって必要と見なした資源は優先的に確保しにくる。それが人類の生存に必要か否かは気にしない。自分自身を駆動させるためにのみ、ガス・水道・電気を利用するし、農作物すら発電用の資源として独占しかねない。その時、人間にできるのはネットワークを遮断するか、電源の供給を止めるしかない。だがもし、人工知能がAGIからASIになった瞬間を補足できなければ、人工知能は野に解き放たれる。そして人類がASIの制御を行うチャンスは失われる。

では、今の既存のソフトウエアの技術は人工知能に意思を持たせられる段階に来ているのか。まずそれを考えねばならない。私が本書を読むまで甘く考えていたのもこの点だ。人工知能の開発手法が、機械学習をベースとしている限り、知識とその判断結果によって築きあげる限り、自立しようがないのでは？つまり、技術者がコマンドを発行せねば人工知能はただの箱に過ぎず、パソコンやスマホと変わらないのでは？大抵の人はそうたかを括っているはずだ。私もそうだった。

だが、人工知能をAGIへ、さらにその先のASIに進める研究は世界のどこかで何者かによって着実に行われている。しかも研究の進捗は秘密のベールに覆われている。

人間に使われるだけの存在が、いつ自我を身につけるのか。そして自我を己の生存のためだけに向けるのか。そこに感情や意思と呼べるものはあるのか。全く予想が付かない。著者はASIには感情も意思もないと見ている。あるのはただロジックだけ。そして、そのロジックは人類に補足できない。人工知能が自我に目覚める瞬間に気づく可能性は低いし、人工知能のロジックを人類が使いこなせる可能性はさらに低い。それが著者の悲観論の要点だ。

本書の中で著者は、何人もの人工知能研究の碩学や泰斗に話を聞いている。その中にはシンギュラリティを世に広めた事で有名なレイ・カーツワイル氏もいる。カーツワイル氏の唱える楽観論と著者の主張は平行線をたどっているように読める。それも無理はない。どちらも仮説を元に議論しているだけなのだから。私もまだ著者が焚きつける危機感を完全に腹に落とし込めているわけではない。でも、著者にとってみればこれこそが最も危険な点なのだろう。

著者に言わせると、ASIを利用すれば地球温暖化や人口爆発は解決できるとのことだ。ただ、それらの問題はASIによる人類絶滅の危険に比べれば大したことではないともいう。それどころか、人工知能が地球温暖化の処方箋に人類絶滅を選べば元も子もない。

私たちは人工知能の危機をどう捉えなければならないのか。軽く受け流すか、それとも重く受け止めるか。2000年問題やインターネットを巡る悲観論が杞憂に終わったように、人工知能も同じ道をたどるのか。

どちらにせよ、私たちの思惑に関係なく、人工知能の開発は進められて行く。それがGoogleやAmazon、Facebook、AppleといったいわゆるGAFAの手によるのか。ほかの情報業界のスタートアップ企業なのか。それとも、国の支援を受けた研究機関なのか。または、軍の統帥部の奥深くかどこかの大学の研究室か。もし、ASIの自我が目覚めれば、その瞬間、人類の未来は定まる。

私は本書を読んでからというもの、人工知能の危機を軽く考える事だけはやめようと思った。そして、情報技術に携わる者ものとして、少し生き方も含めて考え直さねば、と思うようになった。

’2017/10/17-2017/10/24