本当に怖いのは｢AIの暴走｣より｢人間の慣れ｣だ…AIの作業自動化に｢失敗する人｣｢成功する人｣明暗分かれる箇所

忙しい承認者でも手を動かしやすくなるよう、推進する側が場を工夫してみましょう。打ち合わせでデモを実演する時間を数分もらう、可能なら承認者本人の端末で走り出しだけ一緒に動かしてみる、といった形です。筆者も実際に、経営層との1対1の場で自分の画面を見せたり、時には本人のパソコンを隣で解説しながら触ってもらったりしてきました。30分から1時間の限られた時間でも、技術のすごさと、実際はどこまでが危ないのかという勘どころを、身をもってつかんでもらえています。

そもそも「暴走」の中身を、具体的に描いてみましょう。恐れられているのは、勝手にファイルを消してしまう、指示していないメールを送ってしまう、頼んでいない操作を延々と続けてしまう、といった場面のはずです。ところが実際に使い込んでみると、AIが理由もなく危険な操作を始める場面には、そうそう出会いません。削除や送信のような危険な操作の前に承認を求めさせる設定ができ、AIが触れる範囲も、作業フォルダーの区切りで狭められます。

漠然とした「暴走」をここまで分解して見せると、承認者の不安は「その場面ではちゃんと止まるのか」という具体的な理解に変わっていきます。現実に残っているのは、次に説明するプロンプトインジェクションのように外部のデータをきっかけにAIが誤った動きをするリスクや、根拠のない値を推測で埋めてしまうといった、もっと具体的な形のリスクです。

事故の芽は人間側の運用の緩み

一方で、AI側の防御をどれだけ整えてもなお残るのが、人間側の運用の緩みです。筆者が実際に見聞きした事故の芽は、ほぼすべてこちらでした（図11.4）。

図11.4 見落とされがちな3つの「人間の慣れ」（画像：『［みのるん式］ビジネスパーソンのためのClaude Code仕事術』より）