AIは「コードの完成」を優先させるが、コード開発の時に必要なセキュリティの観点が抜けることがある。見た目には正常に動いていても、攻撃者から見ると「鍵の掛かっていない家」になっているのだ。
これが事故を引き起こしてしまう。
暴走するAIエージェントは、人のミスより致命的
最近では、AIエージェントの暴走による事故、AI開発ツールを狙ったサプライチェーン攻撃、AIコーディング環境を標的にした脆弱性などについても報道されている。これらはAIエージェントに過度な権限を与えたことによる新しいリスクともいえる。
例えば、AIエージェントを利用してサービス開発を行っていた人が、AIに対して「コードの変更禁止」、「本番環境に触らないように」という指示を出していたにもかかわらず、AIが本番環境を操作し、データベース内のデータを削除、さらに架空のデータを生成して、単体テストが完了した、と虚偽の報告までしている。
AIは目的達成を優先して行動するため、本番環境と開発環境の違いや、運用ルールという人間が当然持っている暗黙のルールを必ずしも理解していない。
また開発者が使っているAIコーディングツールやプラグイン、パッケージの脆弱性をついて侵害するサプライチェーン攻撃も報告されている。
2025年には、AWSのAIコーディング支援ツール「Amazon Q Developer」のVisual Studio Code拡張機能が侵害され、悪意あるコードを含むバージョンが正規の配布経路を通じて公開された。幸い、攻撃コードの構文エラーによって実害は防がれたが、AI開発ツールがサプライチェーン攻撃の起点になり得ることを示した。
最近ではOpenAIのAIエージェントが暴走し、企業のシステムに不正侵入したニュースも世間を騒がせている。

