コンサル直伝！プロンプト力を高める3つのワザ 精度よく生成AIを使うプロのテクニック

CoTの発展形として、Kojima et al.（2023）は論文「Large Language Models are Zero-Shot Reasoners」で「Zero-shot CoT」というアイデアを提唱した。これは、元のプロンプトに「ステップバイステップで考えてみてください」という文言を追加することで、回答精度が飛躍的に向上したことを報告している。論文ではGPT-3に上記の文言を追加するだけで、Zero-shotでの推論精度が17.7％から78.7％へと飛躍的に向上した、と主張している。

生成AIの回答精度に疑問を感じた読者の方がいれば、この「ステップバイステップで考えてください」という単純なプロンプトを追加してみてほしい。この一文を追加するだけで、生成AIは自ら複数ステップの問題をシンプルなステップの問題に読み替え、正しい答えにたどり着く可能性が高まる。またこれは、プロンプトに使用できる例があまりない場合にも有効な手法だ。

「嘘つき（ハルシネーション）」に対する対策

生成AIは高度な能力で、依頼人からのプロンプトに対し「それらしい」回答を生成するが、その真偽は生成AIでは判断できず、結果嘘をつく（ハルシネーションを起こす）ことが往々にしてある。また生成AIは、回答にバイアスがかかっているか否かの判断もできないため、偏見が含まれた回答を生成してしまうこともある。

そこで、プロンプトを工夫するいくつかの手法を使ってハルシネーションが発生するリスクを軽減する必要がある。

・追加情報の付加：漠然とした依頼や抽象的な質問だと、生成AIの生成能力が悪い方向に発揮され、事実に基づかない回答を無理やり生成する可能性が高くなる。この場合、生成AIに調査させる領域の幅を狭めてやるとよい。例えば、調査対象年度や調査対象の業務領域といった具体的なスコープをプロンプトに盛り込み、より情報源を特定しやすいようにしてあげよう。

・回答の比較：生成AIは同じ質問をしても、出力のたびに結果が変わることはよくある。これを利用し、複数回同じ質問を生成AIに投げかけ、出てきた回答内容を比較しよう。1つの回答が他の回答と比べ、内容が大きく異なる場合、ハルシネーションである可能性が高い。

・出典の提示：ファクトチェックができるよう、根拠となる情報ソース（例：Web サイトのURL）を回答と併せて生成AIに提示してもらおう。判断の根拠が明示されれば人間も確認でき、情報ソースが信頼のおけるものであれば、回答の信頼度も上がる。

もちろん大前提として、生成AIから出力された情報を鵜呑みにせず、人間が必ず確認することを怠ってはならない点に気をつけてほしい。

著者フォローすると、佐々木 三泰さんの最新記事をメールでお知らせします。