"宿題を解くAI"が現実に登場｢ChatGPT｣凄い中身 小論文の執筆や数学､物理の問題もこなす対話型AI

その理由としては、単なる画像・音声認識を上回る、より大規模なラベル付きビッグデータを必要としたこと。これらはそう簡単に用意できるものではない。

また、そもそも言語の「意味」とはディープラーニングのような統計的手法において何を意味するのか、あるいはどのように表現されるのか、といった重要なポイントを研究者自身がよく理解していなかったことなどが挙げられるだろう。

「ファウンデーションモデル」が転機に

そこに転機が訪れたのは、ここ数年のことである。それはAI関係者の間で「ファウンデーションモデル（Foundation Model）」、あるいは「トランスフォーマーモデル（Transformer Model）」などと呼ばれている。

これらの方式はもともと、グーグルが2017年に発表した論文で提案され、このアイデアをスタンフォード大学の研究者らが受け継いで洗練させ、2021年に改めて別の論文にまとめて発表した。

詳細は省くが、これらの方式では文章の意味を理解するためのカギとなる特定の単語を自動的に選び出す「自己注意（self-attention）」と呼ばれる機能を備えている。また音声・画像認識などとは対照的に、ラベルのいらない生のテキストデータを使って（教師無しの）機械学習を実行できる。それまでの主なボトルネックを解消することによって、かなりの程度まで文章の意味を理解するディープラーニングを実現できるようになった。

このようなAIは一般に「LLM（Large-scale Language Model：大規模言語モデル）」と呼ばれる。しかも、このLLMは一種の「ファウンデーション（基盤）」として使われ、これを微調整（再教育）することによって、あらゆる種類の人工知能を生み出すことができる。