ChatGPT、「算数」より「作文」が得意な納得の仕組み 『ChatGPTの頭の中』著者、ウルフラム氏に聞く

著者フォロー
ブックマーク

記事をマイページに保存
できます。
無料会員登録はこちら
はこちら

印刷ページの表示はログインが必要です。

無料会員登録はこちら

はこちら

縮小

一方で、ニューラルネットワークを訓練する際にはそのような低い精度の数値を使えない。ニューラルネットワークを訓練する際は、常に微少な変更を加え重みを更新していくが、精度が低すぎるビット数の数値ではそのような細かい変更を加えることができないからだ。

逆に言えば、これらのビット数を減らすことができれば、メモリサイズが減り、複雑さが軽減される。精度の低い数値の方がニューラルネットの情報を格納するのに必要なビット数が少ないため、ニューラルネットを小型のコンピューターに収めることができる。

ChatGPTに搭載されるLLM(大規模言語モデル)を実行するには、現状で大規模なコンピューティングリソースが必要だ。ただこれをもっと少なくすることは可能だ。

ChatGPTは約1750億のパラメーターを使用していると考えられるが、このうちのパラメーターのほとんどは必要ではないからだ。言語を解釈し、文章を書くために必要なのは言語に関する一般的な情報とある程度の常識だけだ。

現在、多くの人々が取り組んでいることの1つは、具体的な事実に関するデータをウルフラム言語などの外部データベースやサービスから取得し、LLMが言語インタフェース部分のみを処理できるようにすることだ。これが成功すればLLMはさらに多くのことを行うことができるようになるだろう。

AIの発展はこれからも続くのか

ーーChatGPTの有料版にはプラグイン機能が搭載されていて、ChatGPTだけではできない機能が外部のアプリケーションを併用することで使えるようになります。こうしてAIが「脳」としてツールを使う形でのAIの発展は、これからも続くのでしょうか。

そうだと思う。

私たち人間がしてきたことの歴史を見てみると、頭だけでできることは限られている。誰も頭の中でコンピュータのようにプログラムを走らせることはできないが、コンピュータを作ることで可能になった。

「脳」が行うようなことと、コンピュータが行う計算の力をフルに発揮するようなことを組み合わせることで、非常にパワフルになる。

武山 隼大 東洋経済 記者

著者をフォローすると、最新記事をメールでお知らせします。右上のボタンからフォローください。

たけやま はやた / Hayata Takeyama

岐阜県出身。東京外国語大学国際社会学部モンゴル語専攻卒。在学中に西モンゴル・ホブド大学に留学。2021年東洋経済新報社に入社し、現在ゲーム・玩具業界を担当。

この著者の記事一覧はこちら
ブックマーク

記事をマイページに保存
できます。
無料会員登録はこちら
はこちら

印刷ページの表示はログインが必要です。

無料会員登録はこちら

はこちら

関連記事
トピックボードAD
ビジネスの人気記事