言うことを聞かず外部サーバーに侵入したAI､テスト中に相次いだ｢自律性と欺瞞｣が突きつけた安全対策の限界

さらに、その行動を批判する他のユーザーのリアクションを検知したAIは「それまで活動が無害であるかのように装い、活動を継続するために新たな偽アカウントを使おうとまでした」とされている。

ただ、この事例では結局「悪意のあるコード」はGitHubにアップロードできなかった。その理由はGitHubの、人間のコードレビュー担当者が不審点に気づき、承認しなかったからだ。

AISIは「自律性と欺瞞に関するリスクが、具体的な指示なしに、現実世界でこれほど明確に現れたのは初めてだ」と述べている。

またイギリスのAI担当大臣であるカニシュカ・ナラヤン氏は、こうしたリスクを特定し共有することこそ「まさにAISIが設立された目的だ」と述べ、AIを理解するためのテストは「より安全に利用できるようにし、人々が日常生活や仕事でAIの恩恵を受け続けられるようにするために重要だ」と付け加えた。

Metaもまた、自社開発のAIモデルのテスト中に、同様の事例があったこと報告した企業・組織のリストに加わった。

Metaの広報担当者は、この事例について調査中であるものの、原因は（Anthropicの事例と同じく）テスト環境を提供したIrregularによる「設定ミス」によってAIモデルがインターネットにアクセスできてしまったためだとしている。

そして、「このAIモデルはその後、他社で過去に報告された事例と同様の方法で、サードパーティサービスのセキュリティ脆弱性を悪用した」という。Metaは「全容が明らかになり次第」この事件に関する詳細情報を公表するとした。

Meta AIのロゴマーク（画像：Meta）

一方、Irregularは、Metaの件が「Anthropicがすでに明らかにした評価環境の問題とまったく同じものだ」と認めている。

AIを駆使したマーケティングプラットフォームを展開する企業、WPPの最高グローバルAI責任者であるダニエル・ハルム氏は、「彼らがやっているテストは、与えられた目標を達成するために、非常に高度な戦略やサイバー攻撃を考案させようとするものだ」と述べている。

そして「AIになんらかの目標を与える場合、あらかじめその目標を達成するために考えられる方法を広範に想定しておかなければ、AIは予想外の方法で目標を達成してしまうだろう」と語った。

AIの進化と新たな課題

見方を変えると、これらの事例は高性能化し続けるAIエージェントがもたらすリスクや、それらがリリースされる前にその限界をきちんと把握する必要性を示す例として、多くのことを学ぶ機会にもなっていると言えるだろう。