豪首相が謝罪｢AIの不祥事｣に学ぶリスク管理 迫るEU法規制､日本企業も制裁の対象になる

具体的には、ディープフェイクを使って嘘の投資話を持ちかけ、お金を入金させて騙し取る詐欺が非常に増加しています。

AIが引き起こす「想定外」の事例の数々

――企業経営に大きな影響がありそうなものとしては、どんな事例がありますか。

生成AIに限らずAI全般に関するものになりますが、オーストラリア政府が生活困窮者への給付金の不正検知にAIを導入したところ、2015年から2019年にかけて約40万人もの人を「あなたは不正に受給している」と誤って選定し、返還請求を行った事件があります。

新井 悠（あらい・ゆう）／NTTデータグループ エグゼクティブ・セキュリティ・アナリスト。サイバーセキュリティの業界で20年以上のキャリアを積み、2019年にNTTデータグループのエグゼクティブ・セキュリティ・アナリストに就任。NTTグループの国内従業員約30万人の中でも10人しか認定されていないNTTセキュリティマスターの保持者。2024年4月より総務省最高情報セキュリティアドバイザーを務める（写真は本人提供）

これにより生活困窮者から17億豪ドル（当時のレートで約1554億円）以上を回収してしまい、2020年に当時のモリソン首相は謝罪に追い込まれました。

この事件のようにAIは異常を検出し、警告を与える仕組みによく使われていますが、オランダでもAIを使った検知システムで問題が発生しています。

こちらは児童への給付金申請における詐欺を検出するAIシステムで、誤って推定2万6000件もの家族が告発されてしまったのです。しかもAIが詐欺と判定するために使っていたパラメーターの中に人種差別的な内容が入っていると指摘されました。

これらはAIが意図せず従来の法的な枠組みでは予防や対処ができない事態を起こしてしまった結果、大規模な経済的損失や社会的な混乱がもたらされた事例です。