ネットに大量にばらまかれた｢嘘の電話番号｣→AIが信じて人間が詐欺の被害に…｢LLM電話番号汚染詐欺｣巧妙な手口

詐欺師たちはこの仕組みを逆手に取り、AIの回答生成プロセスそのものを乗っ取ったのです。

「LLM電話番号汚染」と呼ばれる手口は、人間を直接だますのではなく、情報を集めるAIを狙っているのです。

攻撃者は、口コミサイトや動画共有プラットフォームの概要欄などに、嘘の電話番号を大量に書き込みます。AIが信頼しそうな教育機関や政府機関のサイト、人が集まるQ＆Aサイトや巨大掲示板、大手レビューサイトや口コミフォーラムなどに手当たり次第、偽情報を書き込みます。

また、詐欺師が書き込む文章は人間向けではなく、AIが抽出しやすい箇条書きなどの特殊な構造になっています。AIがウェブを調べる際、ユーザーが求めているであろう情報を複数見つけると、それが広く合意されている確かな事実だと勘違いしてしまいます。

そして、ユーザーに対して自信たっぷりに提示してしまうのです。AIは文章の意味を深く理解しているわけではなく、確率的に正しいと思われる言葉を紡いでいるだけなので、悪意を見抜くフィルターを持っていません。

悪意ある250件程度の書き込みで汚染されてしまう

イギリスのアラン・チューリング研究所が発表した研究データによると、数十億という膨大なパラメーターを持つ最先端のAIモデルであっても、ウェブ上にわずか250件程度の悪意ある書き込みが存在するだけで、振る舞いが汚染されてしまうと判明しています。

攻撃者はネットのあちこちに嘘の情報（毒）をまき散らし、AIを汚染する（画像：生成AIを利用して筆者作成）

インターネット上の天文学的なデータ量からすれば、250件という数字はほんのひと握りに過ぎません。どれほど巨大なシステムであっても、読み込む資料が嘘で汚染されていれば、自らの口から嘘の情報を語り始めてしまうのです。