【深刻】対話AIで顧客が｢脱獄｣､車が1ドルで買われた!? AIの誤回答で訴訟事案も…今おさえたいリスクに備える《企業の危機管理術》

生成AIに入出力される情報にプロンプトインジェクションのような危険な指示が含まれていないかを、“騙されやすい” 生成AIアプリケーションとは独立したシステムで検知、制御し、道を外れないようガードする仕組みをつくる。同じ仕組みで、差別的な発言や、一般道徳に反する発言など、ブランドを毀損する回答の出力も予防することができる。

このほかに、「一見もっともらしい嘘回答」をしてしまう「ハルシネーション」というリスクもある。これは、知識不足のLLMが、学習済みの限られた知識に基づいて苦し紛れの回答を生成してしまうことで起きる現象だ。

この予防には、自社で作成したドキュメントや問答集などの追加データを読み込ませたデータベースとLLMとを組み合わせたRAG (Retrieval-Augmented Generation：検索拡張生成）という仕組みを構築し、LLMに学習されていない知識や専門的な情報を与えることで知識を補完する施策が最も有効だ。

一般的に現在のLLMは間違った・望ましくない回答をする前提で使うのがいいと言われている。とはいえ顧客向けのサービスでは、これらのリスクを排除するシステムを十分に整えたうえでサービスを開始すべきだろう。

次回の記事では、生成AIを使った詐欺や、生成AIを巧みに悪用したサイバー攻撃とそれらを防ぐ対処法を紹介する。AIが生み出すサイバー空間の激しい攻防戦で負けないために、ぜひ次回もチェックしてほしい。

東洋経済Tech×サイバーセキュリティでは、サイバー攻撃、セキュリティーの最新動向、事業継続を可能にするために必要な情報をお届けしています。

著者フォローすると、中西 一博さんの最新記事をメールでお知らせします。