AI作成｢お悔やみメール｣は何が問題だったのか 生成AI活用のために知るべきリスクと対策

心理的拒絶：アメリカ大学のスタッフが、同じくアメリカ州立大学で3人の学生が死亡した銃乱射事件を受けて、生成AIを使用してお悔やみのメールを書いて送信したところ、炎上。大学側が「判断の誤り」について謝罪しました。AIが生成した文章についてはその旨を明記することが生成AIの利用ガイダンスとして企業や組織で規定されている場合が多く、当大学のメールにもその旨が記載されていました。その意味では、ガイダンスに従い免責を記載したうえでメールを送信したと思われます。しかし、内容が不適切な内容を含んでおらず適切なガイダンスに従った利用だったとしても、この事例のようにレピュテーションリスクにつながることに留意する必要があります。

過度な依存状態が招いた悲しい事件も

過度な依存：生成AIをメンタルヘルスの改善に活用する動きもありますが、一方ではあまりにも自然な返答をしてくれるがゆえに、個人的な悩みを相談するうちに過度な依存状態に陥ってしまう危険性が指摘されています。過度な依存状態が招いた悲しい事件として、ベルギーの男性が、対話型AIと気候変動に関する会話をした後に、地球の未来を悲観して自殺するという出来事がありました。利用者としては節度や距離感をもって利用する姿勢が求められ、サービス提供者としては、そのようなリスクが起こりにくい仕組み、注意事項の明示、免責事項の検討などが必要です。

金銭的インセンティブ：入稿されたテキスト、提出された作品に対して金額を支払うような形態の場合、生成AIを活用すれば大量かつ容易に作品が生成できるため、金銭的インセンティブが働き、不当に収入を得ようとする動きが出てくる可能性があります。このような行動をとると、所属する企業や組織のレピュテーションリスクにつながるため注意が必要です。