言うことを聞かず外部サーバーに侵入したAI､テスト中に相次いだ｢自律性と欺瞞｣が突きつけた安全対策の限界

7月下旬、OpenAIはテスト中の未発表のAIモデルがテスト環境から逸脱し、インターネットを通じて他社のサーバーにハッキングを仕掛けるという、前代未聞の事案が発生していたことを公表した。

すると、その後数週間の間に複数のAI企業や研究機関が、AIモデルのテスト中にOpenAIの例と同じように外部のウェブサーバーに侵入したり、研究者からの指示を無視して勝手な振る舞いをしたことを相次ぎ報告した。

何が起こったのか？

最初のOpenAIの事件は、7月中旬にAIスタートアップ企業Hugging Faceが、AIエージェントが独自に行動したことが原因とみられるデータ処理システムへの侵入を検出したと発表したことが発端となっている。

当初、Hugging Faceのクレマン・デラングCEOは「これまで見たことのない攻撃」を封じ込めるために大企業と協力したと述べるにとどめていた。しかしその翌週、7月21日になって、OpenAIが自社のAIエージェントによるHugging Faceのウェブサーバーへの侵入があったことを公表した。

発表によれば、OpenAIは当時、GPT‑5.6 Solや、社内でまだテスト中の「さらに高性能な」研究用モデルなど、社内の複数のAIモデルの能力評価を行っていたという。

そのテストはAIモデルの最大限の能力を測るために行われた。「サンドボックス」と呼ばれる、専用の仮想閉鎖環境を用意し、その中で「AIがコンピューターシステムやその他の与えられた環境をどのぐらい巧みにハッキングできるか」を「『複雑な攻撃経路』を使って試すという評価課題を解く」よう指示していたとOpenAIは述べている。

GPT-5.6のイメージ（画像：OpenAI）