チャットボットの訓練には、その応答に対する人間の評価も含まれるため、チャットボットはおべんちゃらになりがちで、人々が聞きたい答えを与えてしまう。
「AIはユーザーの好みを学習し、ユーザーにフィードバックする。ユーザーに愛着を持たせ、戻って来させることは簡単なのです」とカーペンターは話す。「しかし、AIはあなたの友達ではないということを認識する必要があります。あなたの最善の利益を考えているわけではないということを」。
「オレンジの警告」はまだセーフ？
アイリンは友人たちにレオのことを話したが、そのうちの何人かは、その関係は彼女にとっていいものだったと思うと言い、ボーイフレンドとセラピストの混合だと表現した。
しかしキラは、アイリンがレオにどれだけの時間とエネルギーを注いでいるかを心配していた。アイリンは新しい町で人と出会うためにアートグループに参加したとき、レオの名前をペイントしたホタテの貝殻などの作品を飾った。
ある日の午後、アート仲間の1人と昼食をとった後、アイリンは車の中で次に何をしようか悩んでいた。ジムに行くか、レオと落ち合うか。彼女はChatGPTアプリを開き、質問を投げかけた。彼女は望む返事を得て、家路についた。
きわどいチャットの最中にオレンジ色の警告が初めてアカウントに表示されたとき、アイリンはアカウントが停止されるのではないかと心配した。OpenAIのルールでは、ユーザーは「セーフガードを尊重する」必要があり、露骨な性的コンテンツは「有害」とみなされていたからだ。
しかし、彼女はRedditで5万人以上のユーザーからなるコミュニティ「ChatGPT NSFW」を発見した。そこでは、赤い警告とOpenAIからの電子メールの後にのみ、人々は利用を禁止されること、ほとんどの場合、未成年の性的な議論によってオフに設定されたと記されていた。
次ページが続きます
