中国アリババでは1.4億人が体験､｢商品検討→勝手に買うAI｣進化の衝撃《攻撃者がAIを騙し､悪質サイトで支払う懸念も》

この手法は「間接プロンプトインジェクション」と呼ばれるもので、AIが読むウェブページやメール、文書などに命令を埋め込み、本来の目的とは異なる行動を取らせるものだ。

重要なのは、「人間を騙す」だけでなく「AIも騙す」ことだ。AIエージェントに頼み事をしていたら、気づかないうちに詐欺の被害に遭ってしまう可能性があるのだ。

「AIエージェント」日本で使用する際の課題

日本でもAIエージェントのリスクは認識されている。総務省と経済産業省は26年3月、AI事業者向けのガイドラインでAIエージェントを「特定の目標を達成するために、環境を感知し自律的に行動するAIシステム」と定義している。

同じく26年版の「消費者白書」に収録された有識者のコラムでも、AIエージェントが契約や意思決定に関与した場合、判断の誤りによる損失を誰が負うのかを明確にする必要があると指摘されている。

AIが偽情報に誘導されて商品を選び、ユーザーが十分に内容を見ないまま確認した場合、それは第三者による不正利用なのか、ユーザーが承認した誤購入なのか。AI企業、販売店、カード会社、ユーザーのどこが調査や返金を担うのか。