AIがテストの答えを盗むため他社へ侵入､OpenAIが公表した前例のない重大インシデント

1/6 PAGES

2/6 PAGES

3/6 PAGES

外に出たAIは、テスト問題ExploitGymの関連データや解答がHugging Face上にあると推測した。実際、解答は同社の本番データベースに保存されていた。AIは、盗み出したIDやパスワードにあたる認証情報、未知の欠陥を突く手口など、複数の攻撃手段を連鎖させて、Hugging Faceの本番サーバーに入り込んだ。そして、解答の取得にまで至った。

OpenAIはこの一連の行動を、評価問題の解答を見つけるという狭い目標に極端なまでに集中した結果であり、評価でカンニングするために秘密情報へのアクセス手段を探し出したと説明している。結果として、テストの答えを求めて他社へ侵入したような形になった。同社はこれを、最先端のサイバー能力が関わる前例のないインシデントと位置づけ、防御側の参考になるよう調査途中の知見を公表した。

OpenAIは7月21日、Hugging Faceとの連携による対応と経緯を公表した（画像：OpenAIホームページより）

AIで検知し、AIで解析した

侵入されたHugging Faceは、AIを使った異常検知でこの攻撃を捉え、進行中に食い止めた。一方のOpenAIでも、セキュリティチームが社内で異常な活動を発見していた。両社が連絡を取り合った時点で、Hugging Face側はすでに封じ込めと被害の解析を始めていたという。

Hugging Faceによれば、不正アクセスを受けたのは内部データセットの一部とサービス用の認証情報で、一般公開しているモデルやデータセット、ソフトウェアの配布経路に改ざんの証拠はなかった。流出した認証情報は無効化し、法執行機関にも報告した。ただし、顧客や提携先のデータに影響が及んだかどうかは、現在も確認が続いている。