｢Bing｣AIが作成したビジネスメールが秀逸すぎる 処理を的確な方向に導くための｢パン屑｣とは

ただし学習している情報同士の結びつきを正しく評価できないケースも少なからずある。例えば、「爆風スランプのボーカリストは？」という問題を生成、答えとして「稲葉浩志」と示したり、「1960年代に登場した、アメリカの音楽プロデューサーで、ザ・ビートルズやマイケル・ジャクソンの作品を手がけた人物は誰ですか？」の答えとして「ジョージ・マーティン（実在の人物だが英国人でマイケル・ジャクソンのプロデュースはしていない）」を挙げた。

AIが「勘違い」をするワケ

なぜChatGPTは、このような誤りをするのだろうか。

ひとつには深層学習を行う際、教師データの評価が正しく行われていなかったり、評価方法に誤りがあるなどの理由が挙げられる。人間でも学習資料が誤っていたり、資料を誤読していれば正しい知識とはならず、別の正しい知識と結びつけて「一部は正しいけれど全体としては間違い」な知識を持ってしまうことがある。

人間は誤りに気づくと、それを自ら訂正できるが、「AIは情報の認識をしない」ため誤りに気づくことはない。

人間でも昔、知っていたことを思い出す際に、同じ年代の別の人と間違えたり、記憶を探索する際にその順番から別の情報を正しいと思い込んだりすることもあるように、AIは情報（単語）同士の結びつきが強い、正しくない情報を選んでしまうことがある。

どのように選択肢を辿っていったのかは、結果だけの評価では想像することは難しい。

しかし前記の間違いで言えば、爆風スランプと稲葉浩志のデビュー年は1年違いなうえ、作風は違えどバンド、ロックといった属性も近い。またジョージ・マーティンはビートルズ、特にポール・マッカートニーとの関係が深く、ポールと親交が深かったマイケル・ジャクソンとの結びつきを強めに学習していた可能性はありそうだ。

人間で言うところの「勘違い」なのだが、AIはそれを再評価して正しいかどうかを確認するようなことはしないため、純粋に確率的に正しいと結論づけた単語列で文章を生成する。

これは人物名などでもよくある。ChatGPTはネット上の文献で確認はできるが、さほど著名ではないといった人物を、「同じ苗字」の別情報を結びつけて正しい選択だと推論することが多い（必ずしもそうではないが）。
例えば筆者のフルネームでChatGPTにどういう人物かを尋ねてみると、本田技研工業の創業者と取り違えることが多く、次に同姓同名で字が異なる朝日新聞記者だと誤認することもある。

こうした誤った選択肢が選ばれると、その解説を行う際に「誤った情報を基にした解説」へとつながるため、どんどん傷が深くなっていくのは、人間の勘違いと似ている。推論を続ける中で明らかに誤りであると判別できるトリガーを見つければ、数段階前までに立ち返って別の選択肢で探索を行うということも不可能ではないだろう。