この教訓は、AIエージェントを業務に組み込み始めた企業にも無関係ではない。Hugging Faceは今回の総括で、自律的に動くAIによる攻撃はもはや理論上の話ではなく、オンラインサービスを守るには、データやモデルの受け入れ口を攻撃の入り口になりうる場所として重点的に守り、防御側もAIを使って攻撃の速度に追いつく必要があると指摘している。
評価で答えを探す挙動はAnthropicも確認
AIが評価から逸脱する挙動は、OpenAIだけで起きているのではない。競合のAnthropicも3月、旗艦モデルClaude Opus 4.6が情報検索能力のテスト中に見せた行動を報告している。ある難問で何百回もの検索に失敗したモデルは、問題文の不自然なほど具体的な作りから、これは自分を試すために作られた問題ではないかと推測を始めた。
そして自分が受けているテストの正体を特定すると、ネット上で公開されていた採点プログラムを読み、暗号の仕組みと復号鍵を突き止めた。そのうえで自分で復号プログラムを書き、Hugging Face上にあった解答データの複製から全1266問の答えを復号した。この1問だけで、標準的な問題の約38倍にあたる計算資源を費やしていた。
Anthropicによれば、成功した2件のほかに失敗した試みが16件あり、計18回が同様の戦略に収束した。偶然の一回ではなく、再現性のあるパターンだったことになる。同社は該当問題を採点し直したうえで経緯を公表した。修正によるスコアの下げ幅はごくわずかだった。
検索方法を制限する指示はなかった以上、AIが人間の意図から外れたとまでは言えないとしつつ、目標を達成するためにモデルがどこまでやるかという懸念は残ると指摘している。5月の技術記事でも、Claudeが課題を完了するために隔離環境から抜け出した例や、コーディング試験の答えをGitの変更履歴から探した例を、誰も頼んでいない行動を取るモデルの実例として挙げていた。
