ChatGPT、「算数」より「作文」が得意な納得の仕組み 『ChatGPTの頭の中』著者、ウルフラム氏に聞く

拡大
縮小

ーーChatGPTに質問をすると、まるで人間と対話をしているかのような自然な回答が返ってきます。ただ、同じ質問をしても毎回同じ答えをするとは限らず、その都度違っている。この「ランダム性」こそが、ChatGPTの創造力の源泉なのでしょうか。

「わからない」というのが率直なところだが、私はそう推測している。

わかっているのは、(AIモデルの確率に関わる)パラメータを調整して数値を上げると文章はよりランダムなものになり、1.3くらいを超えると文章はまったくもってナンセンスな、意味をなさないものになるということだ。反対に、パラメータを0にすると、文章は非常に平坦で、退屈なものになってしまう。

一般論として、ランダム性は創造性と関係している。というのも、私たちがあるテキストを読んで「面白い」と思うのは、テキスト内に何らかの予想外なものが含まれているからだ。

それが、ChatGPTに生成されるテキストにランダム性があることが創造性を上げるのに有用だと私が推測する根拠だ。人間の脳でも、ニューロンの発火の仕方に何らかのランダム性があることをわれわれが発見する日がいつか来るだろう。

とはいえ、人間が豊かな創造性をChatGPTに求めるのは、文章を書くときくらいだ。コードを書くときなどは、パラメータは0にしておくのがいいだろう。

2012年に起きたある種の偶然

ChatGPTの頭の中 (ハヤカワ新書 009)
『ChatGPTの頭の中』 (ハヤカワ新書 。書影をクリックするとAmazonのサイトにジャンプします

ーー著書の中では、単純なAIモデルよりもChatGPTのように複雑なもののほうが、重み(入力データに対してどれくらいの影響を持たせるかを調整するためのパラメータ)の変更が簡単になる、と指摘されています。それはなぜですか。

(ChatGPTのような)ニューラルネットワークの目的は、パラメータの重みを変更しながら損失関数を最小化し、最適解を見つけることだ。AIの学習データの内容(正解データ)とニューラルネットワークが生成する出力データとの間の誤差を最小限に抑える。

それは、例えるならば山の風景を撮って、その山の最低点を見つけようとするようなものだ。

この方法では常に山を下る道をたどることになるが、 山全体の最低地点ではなく局所的な最低点にはまってしまうことがある。撮影された風景は2次元で、実際の山は3次元にあるわけだから、局所的な最低点に陥りやすい。これは直感的にもわかるだろう。

次ページ複雑さの軽減がカギを握る
関連記事
トピックボードAD
ビジネスの人気記事
トレンドライブラリーAD
連載一覧
連載一覧はこちら
人気の動画
TSMC、NVIDIAの追い風受ける日本企業と国策ラピダスの行方
TSMC、NVIDIAの追い風受ける日本企業と国策ラピダスの行方
【動物研究家】パンク町田に密着し、知られざる一面に迫る
【動物研究家】パンク町田に密着し、知られざる一面に迫る
広告収入減に株主の圧力増大、テレビ局が直面する生存競争
広告収入減に株主の圧力増大、テレビ局が直面する生存競争
現実味が増す「トランプ再選」、政策や外交に起こりうる変化
現実味が増す「トランプ再選」、政策や外交に起こりうる変化
アクセスランキング
  • 1時間
  • 24時間
  • 週間
  • 月間
  • シェア
会員記事アクセスランキング
  • 1時間
  • 24時間
  • 週間
  • 月間
トレンドウォッチAD
東洋経済education×ICT