ChatGPT､｢算数｣より｢作文｣が得意な納得の仕組み 『ChatGPTの頭の中』著者､ウルフラム氏に聞く

一方で、ニューラルネットワークを訓練する際にはそのような低い精度の数値を使えない。ニューラルネットワークを訓練する際は、常に微少な変更を加え重みを更新していくが、精度が低すぎるビット数の数値ではそのような細かい変更を加えることができないからだ。

逆に言えば、これらのビット数を減らすことができれば、メモリサイズが減り、複雑さが軽減される。精度の低い数値の方がニューラルネットの情報を格納するのに必要なビット数が少ないため、ニューラルネットを小型のコンピューターに収めることができる。

ChatGPTに搭載されるLLM（大規模言語モデル）を実行するには、現状で大規模なコンピューティングリソースが必要だ。ただこれをもっと少なくすることは可能だ。

ChatGPTは約1750億のパラメーターを使用していると考えられるが、このうちのパラメーターのほとんどは必要ではないからだ。言語を解釈し、文章を書くために必要なのは言語に関する一般的な情報とある程度の常識だけだ。

現在、多くの人々が取り組んでいることの1つは、具体的な事実に関するデータをウルフラム言語などの外部データベースやサービスから取得し、LLMが言語インタフェース部分のみを処理できるようにすることだ。これが成功すればLLMはさらに多くのことを行うことができるようになるだろう。

AIの発展はこれからも続くのか

ーーChatGPTの有料版にはプラグイン機能が搭載されていて、ChatGPTだけではできない機能が外部のアプリケーションを併用することで使えるようになります。こうしてAIが「脳」としてツールを使う形でのAIの発展は、これからも続くのでしょうか。

そうだと思う。

私たち人間がしてきたことの歴史を見てみると、頭だけでできることは限られている。誰も頭の中でコンピュータのようにプログラムを走らせることはできないが、コンピュータを作ることで可能になった。

「脳」が行うようなことと、コンピュータが行う計算の力をフルに発揮するようなことを組み合わせることで、非常にパワフルになる。