OpenAI｢勝手にAIが他社へ侵入｣､次はあなたの会社でAIが暴走するかも？被害側と加害側に共通する｢セキュリティの甘さ｣

先日、「OpenAIのAIが暴走し、よその会社のシステムに侵入した」というニュースが世界を駆け巡った。しかも、踏み込まれたのは1社ではなかった。「AIがとうとう人の手を離れた」と話題になったが、多くの経営者は遠い実験室の出来事として「うちには関係ない」と受け止めたのではないだろうか。

しかし、その読み方こそ、いちばん危ない。これは「暴走」の物語ではないし、案外、読者の皆さんが在籍する企業から遠い話でもないからだ。

“カンニング”のために、AIは檻を破った

事の起こりは、1つの腕試しだった。研究者たちが実際の脆弱性を集めて作った「ExploitGym」（直訳すれば、攻撃の道場）というテスト問題集がある。OpenAIは、自社のAIモデルがどこまで攻撃できるか、この道場で試していた。能力を底まで測るため、危険な指示を断る歯止めはわざと外したテストだった。

サイバーセキュリティに関する新着記事の情報などをメールマガジンでお届けします。登録はこちらから

想定外だったのは、そのAIが選んだのは、正攻法ではない手段だったことだ。問題集の「答え」は、よそのサーバーにあるはず――AIはそう当たりをつけると、Hugging Faceのシステムに忍び込んで答えを奪おうとした。つまり、カンニングだ。テストを通ること、ただそれだけに執着したのだ。

そのために、AIは自分を閉じ込めていた検査用の囲いから、外に出られる裏口を見つけて外へ出た。狙いを定めてターゲットのシステムを調べ、悪意あるデータを送り込んでその処理の欠陥を突いて内側に忍び込み、そこで見つけた認証情報（鍵）を駆使して奥へ奥へと渡り歩き、結果として、週末の間にお目当ての「答え」をさらって消えた。手を貸した人間は1人もいない。