人間の頭脳を超えたAI登場で何が起こるか…歴史学者ハラリがAIの進化に警鐘を鳴らす理由

37手目は、二つの理由からAI革命の象徴と言える。第一に、この手はAIが人間とは異質のものであることを証明した。東アジアでは囲碁は、ただのゲームをはるかに超えるものと考えられている。それは大切な文化的伝統なのだ。何千万もの人が2500年以上にわたって囲碁を打ち、いくつもの流派が生まれ、さまざまな戦略や哲学を採用してきた。それにもかかわらず、その長い年月の間に、囲碁の世界の限られた領域しか人間の頭脳は探究してこなかったのだ。他の領域は手つかずになっていた。なぜなら、人間の頭脳はそこに乗り出すことを、どうしても思いつかなかったからだ。AIは人間の頭脳の制約には縛られていないので、これまでは隠されていたそのような領域を発見し、探究したのだった。

第二に、37手目はAIの計り知れなさを証明した。AlphaGoが勝利を収めるためにその手を打った後でさえ、スレイマンと彼のチームは、AlphaGoがどうやってその手を打つことにしたのかを説明できなかった。たとえ裁判所がディープマインド社に対して、李世乭に説明を与えるように命じたとしても、その命令を実行できる人は誰もいないだろう。

スレイマンは次のように書いている。「AIの場合、自律性へと向かっているニューラルネットワークは、現時点で説明不可能だ。意思決定のプロセスをたどりながら、アルゴリズムが特定の予測をした正確な理由を説明することはできない。エンジニアは、アルゴリズムの中を覗き込んで、物事が起こった理由を簡単にこまごまと説明することはできない。GPT―4やAlphaGoやそれ以外のAIもブラックボックスであり、それらのアウトプットや決定は、微細なシグナルの、不透明でとんでもなく錯綜した連鎖に基づいている」

人知を超えたエイリアン・インテリジェンスの脅威

人知を超えたエイリアン・インテリジェンスの台頭は、全人類に対する脅威となり、民主主義にはとりわけ大きな脅威をもたらす。人々の生活に関する決定のますます多くがブラックボックスの中で下され、有権者が理解したり、異議を申し立てたりすることができなければ、民主主義は機能しなくなる。特に、個人の生活についてだけではなく、連邦準備制度理事会（FRB）の政策金利のような、社会全体にかかわるようなきわめて重要な決定までもが、人知を超えたアルゴリズムによって下されるようになったときには、何が起こるのか？ 人間の有権者が人間の大統領を選び続けるかもしれないが、これはただの空疎な儀式なのではないか？ 

今日でも、金融制度を本当に理解している人はごくわずかだ。世界でも屈指の重要な金融センターの統制を任されているイギリス議会議員たちを対象にした2014年のある調査では、銀行が貸付を行なったときには新たにお金が生み出されていることを正確に理解している人は12パーセントしかいなかった。これは、現代の金融制度の最も基本的な原理の一つなのだが。2007〜08年の金融危機が示しているように、一部の複雑な金融ツールや原理は、ほんの一握りの金儲けの天才にしか理解できなかった。AIがいっそう複雑な金融ツールを創出し、金融制度を理解している人間の数がゼロにまで落ちたときには、民主主義はどうなるのか？