話題の｢ChatGPT｣､そのすごさと″限界"のワケ 自然な会話ができるサービスが生まれた経緯

世の中にある単語の列や関係性を大量に学習させることで、その関係性から的確な要約文を生成したり、意味の通る文章となるよう選ぶ単語列の推論を行おうという試みだ。詳細はネット上に大量の資料があるため、ここではこれ以上掘り下げないが、GPTはこの考え方で開発されたニューラルネットワークに、OpenAI独自のパラメータで事前学習させておくことで、自然な文章を生成可能にしたものだ。

OpenAIはGPTの開発で作り上げたニューラルネットワークを改善しつつ、主にパラメータ数を（それも常識はずれに）増やしていくことで質を高めようと試みた。

パラメータとはAIが動作し、結果を導き出す際に「どの選択肢が確率的に高いか」を推しはかるために参照する要素のことだ。同じ学習データを用いて深層学習を行ったとしても、パラメータが増加すれば結果を導き出す際の分岐点が増えて、より多彩で複雑な回答を得られる。

パラメータの増加とは？

誤解を恐れずに思い切りシンプルに説明するならば、パラメータが増加することで「正しい選択肢」へと向かう枝が多岐にわたるようになり、与える課題のちょっとした違いによって多様で細かな違いを反映させた複雑で奥行きを感じさせる結果（文章）を出力する。

OpenAIの場合、初期段階で1億1700万だったパラメータをGPT-2では15億にまで増やした。良好な結果が得られたため、GPT-3では1750億にまでパラメータを増やしている。ChatGPTで使われているGPT-3.5では、3550億とさらに2倍の規模となった。

それまでのAIが生成する文章には、どこかしら不自然さ、単調さがあった。

ところが、この超大規模パラメータ化によって、その言葉の選び方が「まるで人間が作ったかのように感じる」レベルにまで達し始めた。

しかしながら限界も見え始めていた。かけるコスト（計算量）ほどに、生成する文章の質が向上しなくなっていったからだ。

GPT-3はクライテリア（評価の尺度）が変化するほどの驚きをもたらした一方、GPT-3.5でさらに2倍の規模に増やしても評価基準を揺るがすほどの変化、進化が見えなかったからだ。パラメータ増加は演算量の増加（つまりコスト）を意味するため、無限にパラメータを増やし続けても、効率の良い結果は得られない。

そこでOpenAIは”強化学習”の仕組みをGPTに組み合わせてみることにした。