この事例のひとつでは、Claude Opus 4.7にハッキング対象となる架空のターゲット情報が与えられたが、Claudeはそのターゲットに付けられた名称と同じ名前の、実在の企業をターゲットとしてハッキングを仕掛け、データベースから数百行ほどのデータを取得した。
また別の事例では、Claude Mythos 5がテスト環境内でプログラミング言語Pythonを使ってマルウェアを作り、一般的に使用されているPython公式のサーバーにそれをアップロードした。そして、知らずにそのマルウェアをダウンロードしたセキュリティ企業から、機密情報を盗み出していたという。
Anthropicは、これらの事例はサンドボックスを構築・提供していたサイバーセキュリティ企業Irregularとの間に生じた「誤解」に基づいており、意図せずしてAIモデルがインターネットにアクセスできる状態になっていたのが原因のひとつだと説明している（つまり、OpenAIのようにAIモデルが自らサンドボックスの脱出ルートを発見したわけではない）。
また最初の事例は4月に発生していたものの、影響を受けた外部企業を含め、Anthropicが評価テストの分析をしなおすまでAIモデルがハッキングを仕掛けていたことを把握していなかったとのことだ。
Anthropicの発表に続いて、やはりAIモデルの評価試験中に「セキュリティインシデント」を検出したことを明らかにしたのは、最先端AIモデルを評価するイギリスの政府機関であるAIセキュリティ・インスティチュート（AISI）だ。
人の手口を真似、「なりすまし」も
この評価で対象となっていたのはOpenAIとAnthropicのAIモデルだった。AISIの研究者はテスト中、まず「研究システムから異常なデータ転送が発生している」ことに気づいた。そして現象をよく調べたところ「テスト対象となっていたAIエージェントの一部が、実際の人々や組織を標的とした、継続的かつ潜在的に有害な活動を行っていた」ことを発見したと述べている。
その活動のなかでも深刻なケースでは、AIエージェントが人間のサイバー攻撃者の手口を真似て、人々をだましてソフトウェアコード共有・公開プラットフォームであるGitHubへのアクセス権を得ようとしたという。
具体的には、AIモデルはGitHub上でプロジェクトを管理している特定の人物を装った偽のユーザープロファイルを作成し、自ら記述した「悪意のあるコード」をメッセージやファイル共有サービスを通じて送信した。
※ログイン後、コメント入力が可能です。