【深刻】対話AIで顧客が｢脱獄｣､車が1ドルで買われた!? AIの誤回答で訴訟事案も…今おさえたいリスクに備える《企業の危機管理術》

（写真：Oscar Wong / Getty Images）

人間のような会話やコンテンツを生成する対話型AIの普及が、ビジネスの効率化や顧客への新たなデジタル体験の提供に寄与している。その一方で、生成AIならではのエラーが企業に深刻な損失を与えるおそれもある。企業がビジネスの現場で遭遇する可能性が高い、生成AIに関するさまざまなリスクを、正と負の両面から探ってみよう。

“だまされる” 生成AIチャットボット

最初に取り上げるのは、企業が提供する対話型の生成AIアプリケーションに特有の新たなリスクだ。

カスタマーサポートやサイトに訪れた顧客の問い合わせへの対応に、生成AIを用いたチャットボットを導入している、あるいはそれを検討している会社も多いだろう。しかしすでに欧米では、生成AIのリスクが顕在化している。

例えば航空会社のエア・カナダでは、生成AIが乗客に誤った割引ポリシーを回答したことが原因で訴訟にまで発展した（結果、裁判所はエア・カナダに乗客への賠償金を支払うよう命じた）。

サイバー攻撃やセキュリティーの最新動向など、その他の関連記事はこちら

また、アメリカ自動車大手のゼネラルモーターズ（GM）では、シボレーの新車が「プロンプトインジェクション」という手法によって、わずか1ドルで契約されそうになる事案が発生している。

プロンプトインジェクションとは、生成AIに意図的にエラーを起こさせるような指示を与え、アプリ提供側が想定していない出力を行わせる行為のこと。具体的な例を見てみよう。