山本：例えばEUで議会の承認を通過したAI規則（レギュレーション）は、生成AI以前のAIを前提として議論をしてきたところがあります。「透明性」や、「説明責任」の重要性を強調して、なるべくそれを実装しようという流れになっているところに、急に生成AIが出てきた。
以前、栗原先生も、「透明性や説明責任という概念は、これまでのAIを前提としたものとまったく違うものになってきている」とおっしゃっていたのですが、やはり生成AIの登場によって、こうした概念は、もう意味のないものになっているのでしょうか。それとも何か別の形で透明性や説明責任が求められるのでしょうか。
栗原：一言で言うと、無理ですよね。つまり「原理がわかっている」ことと、「中で起きていることを説明できる」こととは、別の話です。
脳において神経細胞同士が何をやっているかは理論的にもかなり解析されているのと同じように、そもそもAIは人が設計しプログラムして作っているわけですから、構造自体は100％明確なものです。
ところが、そのあとに学習させることによって、重み（入力値の重要性、貢献度を数値化して表したもの）がどんどん変わっていきます。そうなったとき、例えば「1000億個のパラメーターの重みが調整された」ときに、その中をどのように情報が流れ、「どこで、何が、どうして、こうなった」という説明はもはやできません。言ってみれば、起きることはもはや結果論なのです。
どんな学習データを使っているかの説明は可能
山本：なるほど。「中で起きていることの説明」はできないのですね。ただ、どのようなものを学習データとして使っているのかという説明はできると思うのですが。
栗原：はい、それはできます。
山本：生成AIを人間が「しつける」こともできますよね。例えば中国では今、「共産党的な価値観（愛国であるとか、富強）を反映したものでなければいけない」といったAIのルールを作ろうとしています。
ChatGPTでも、例えばヘイトスピーチなどが出てこないように調整していると思いますが、そうした人間による「しつけ」すら生成AIが跳び越えてしまう可能性はあるのでしょうか。
