ChatGPT､｢算数｣より｢作文｣が得意な納得の仕組み 『ChatGPTの頭の中』著者､ウルフラム氏に聞く

ただ、このような行き詰まりが生じるのは、（2次元や3次元といった）低次元の空間を扱っている場合だけ。例えば何十億次元もの空間を扱うときは、ある意味で山を降りるために選択できる道が常に存在することになる。

もっともこれについて直感的に理解することは難しいかもしれない。非常に高次元の空間を扱うと、常に最小値に向かって下降する経路が存在することは人々が予想していないことだった。

だから2011年頃までに行われたニューラルネットの実験の多くは、ニューラルネットを単純化しようとしていた。それが2012年、ある種の偶然から、非常に複雑なニューラルネットのほうが、単純化されたニューラルネットよりも訓練が容易であることが発見された。

鍵はモデルの「複雑さ」を軽減すること

ーーChatGPTは創造性豊かな対話ができる一方で、簡単な算数の計算を間違うことで知られています。AIが計算よりも自然言語のほうを得意とするというのは、直感に反するのですが……。

ChatGPTの成功が示しているのは、言語の種類に応じた構文を解析し、何か意味のある情報を伝える文章を理解するのがそれほど難しくないということだろう。

ChatGPTは言語や世界に関する多くの知識を必要とするが、その一方で大きな数を因数分解するときのように、何度も何度もアルゴリズムを繰り返す必要はない。次に続く単語を見つけるには、ニューロンの層を一度だけ通過して計算をしている。

われわれが人間の言葉で表現している物事には、論理学のような形で形式化できることがもっとたくさんある。論理学は古代ギリシアの哲学者であるアリストテレスにより2000年前に発明され、以来言語の意味文法と呼べるものを作る方法を理解しようとしてきた。ただ、現代ではあまり取り組まれていない。ChatGPTは、こうした理解が可能であることを示している。

ーーChatGPTのような対話型の生成AIは、これからどのような発展を遂げるのでしょうか。

今論点になっているのは、いかにモデルの複雑さを軽減できるかということだ。

通常大規模言語モデルを含むニューラルネットワークは、コンピュータで実数を表現する形式である単精度浮動小数点（32ビット）や倍精度浮動小数点（64ビット）を使用するのが標準的だ。

しかし、ニューラルネットワークを訓練した後で、例えば8ビットや4ビットといったもっと小さい数値を利用しても、良好な結果になることが発見されている。