本当に怖いのは｢AIの暴走｣より｢人間の慣れ｣だ…AIの作業自動化に｢失敗する人｣｢成功する人｣明暗分かれる箇所

なお、指示が仕込まれる場所は文章だけではなく、MCPサーバーなど接続するツールの説明文に隠す手口（ツールポイズニングと呼ばれます）も報告されています。外部のSaaSと接続するときは、その製品のベンダー自身が公式に提供しているコネクタやMCPサーバーを選ぶと、この手の心配を減らせます。公式版がないMCPサーバーを導入するときは、誰が作ったものか、更新で何が変わったのかを確かめてから使いましょう。

人間側の運用の緩みとして典型的なのが、承認の形骸化です。使い始めは一つひとつ読んでいた確認画面を、慣れるにつれて読まずに押すようになります。何の承認かを理解せずに「はい」を連打する状態は、承認がないより危険です。確認した気になっているからです。ITシステムの運用では、監視アラートの条件を厳しくしすぎると緊急でない警告メールが毎日大量に届き、本当に危険な警告がその中に埋もれてしまう、という失敗がよく知られています。確認を求めすぎたAIの運用でも、同じことが起きるのです。

そのため、標準の自動モードのまま使う運用をおすすめしています。一見逆説的ですが、これは安全策でもあります。日常操作を自動承認で流したうえで、本当に危ない操作だけは必ず人間に確認するよう許可設定で固定しておけば、一つひとつの確認に真剣に向き合えるからです。

分からない承認は「私に分かる言葉で説明して」と設定しておく

承認を読まずに押してしまう一因は、確認画面の中身が技術用語のままで、何を聞かれているのか分からないことです。ノンエンジニアにとって「このコマンドを実行してよいか」と問われても、判断のしようがありません。そこで、設定画面の「Claudeへの指示」欄や、作業フォルダーのCLAUDE.mdに次のような一文を入れておきます。