ChatGPT､｢算数｣より｢作文｣が得意な納得の仕組み 『ChatGPTの頭の中』著者､ウルフラム氏に聞く

ーーChatGPTに質問をすると、まるで人間と対話をしているかのような自然な回答が返ってきます。ただ、同じ質問をしても毎回同じ答えをするとは限らず、その都度違っている。この「ランダム性」こそが、ChatGPTの創造力の源泉なのでしょうか。

「わからない」というのが率直なところだが、私はそう推測している。

わかっているのは、（AIモデルの確率に関わる）パラメータを調整して数値を上げると文章はよりランダムなものになり、1.3くらいを超えると文章はまったくもってナンセンスな、意味をなさないものになるということだ。反対に、パラメータを0にすると、文章は非常に平坦で、退屈なものになってしまう。

一般論として、ランダム性は創造性と関係している。というのも、私たちがあるテキストを読んで「面白い」と思うのは、テキスト内に何らかの予想外なものが含まれているからだ。

それが、ChatGPTに生成されるテキストにランダム性があることが創造性を上げるのに有用だと私が推測する根拠だ。人間の脳でも、ニューロンの発火の仕方に何らかのランダム性があることをわれわれが発見する日がいつか来るだろう。

とはいえ、人間が豊かな創造性をChatGPTに求めるのは、文章を書くときくらいだ。コードを書くときなどは、パラメータは0にしておくのがいいだろう。

2012年に起きたある種の偶然

『ChatGPTの頭の中』 (ハヤカワ新書 。書影をクリックするとAmazonのサイトにジャンプします

ーー著書の中では、単純なAIモデルよりもChatGPTのように複雑なもののほうが、重み（入力データに対してどれくらいの影響を持たせるかを調整するためのパラメータ）の変更が簡単になる、と指摘されています。それはなぜですか。

（ChatGPTのような）ニューラルネットワークの目的は、パラメータの重みを変更しながら損失関数を最小化し、最適解を見つけることだ。AIの学習データの内容（正解データ）とニューラルネットワークが生成する出力データとの間の誤差を最小限に抑える。

それは、例えるならば山の風景を撮って、その山の最低点を見つけようとするようなものだ。

この方法では常に山を下る道をたどることになるが、 山全体の最低地点ではなく局所的な最低点にはまってしまうことがある。撮影された風景は2次元で、実際の山は3次元にあるわけだから、局所的な最低点に陥りやすい。これは直感的にもわかるだろう。