ChatGPT､｢算数｣より｢作文｣が得意な納得の仕組み 『ChatGPTの頭の中』著者､ウルフラム氏に聞く

ただ、このような行き詰まりが生じるのは、（2次元や3次元といった）低次元の空間を扱っている場合だけ。例えば何十億次元もの空間を扱うときは、ある意味で山を降りるために選択できる道が常に存在することになる。

もっともこれについて直感的に理解することは難しいかもしれない。非常に高次元の空間を扱うと、常に最小値に向かって下降する経路が存在することは人々が予想していないことだった。

だから2011年頃までに行われたニューラルネットの実験の多くは、ニューラルネットを単純化しようとしていた。それが2012年、ある種の偶然から、非常に複雑なニューラルネットのほうが、単純化されたニューラルネットよりも訓練が容易であることが発見された。