2022年11月にアメリカのOpenAIが発表した「ChatGPT」は2カ月間で1億人の利用者を獲得した生成AIによる対話型サービスである。ChatGPTは文章生成を行い、他にも文章を入力することで画像を生成する「DALL・E2」「Midjourney」「Stable Diffusion」といった生成AIも現れた。
ChatGPTではユーザがプロンプトと呼ばれる文章による指示を出すことで、文章の創作、要約、翻訳、プログラム生成等を行うことができる。生成AIの特徴は自然言語からプログラムを生成する等、その高度な変換能力にある。
ChatGPTは技術的には大規模言語モデル（Large Language Model, 以下LLM）と人間によって行われる強化学習フィードバック（Reinforcement Learning from Human Feedback）を組み合わせて構築される。人間による強化学習フィードバックは非倫理的な内容の生成の排除を可能にする。
次の単語、次の単語と予測を繰り返し文章を生成
ChatGPTの高度な文章生成を可能にしたのが「Transformer」という技術である。Transformerは2017年にGoogleのアシシュ・ヴァスワニらが「Attention is All You Need」によって提唱した注意機構（Attention Mechanism）と多層パーセプトロン（MLP: Multi-Layer Perceptron）によって構成される。
注意機構は既に並んだ単語から必要な部分に「注意」して取り出し、多層パーセプトロンは大規模データで学習した内容（人間でいえば長期記憶）から実行中の処理に関係する内容を取り出す。注意機構と多層パーセプトロンは、単語から次の単語、そのまた次の単語という形で予測を繰り返し、文章を生成している。
次ページが続きます：
【AIモデルに思想的な偏りをつくることができる】
