AIに読解力があると思う人に知ってほしい現実 学生の新常識は｢シンギュラリティ＝黒歴史｣だ

だが、正解は①だった。東ロボはこの問題に正解した。なぜだ、なぜ正解がわかったんだ。あたかも「（意味を理解して）読解した」ようではないか。東ロボは過去5年分のセンター入試の不要文除去問題を100％正答した。

こういう素敵な手品には必ずタネがある。

英語チームにタネを明かしてもらって感心した。方法はこうだ。RACEから提供されている複数段落で構成される問題文を選び、ある段落の任意の箇所に、次の段落から選んだ任意の文を挿入する。そして、挿入された文を「文脈から外れた不要文だ」と学習させたのである。

同じ著者の手による、同じ文章の次の段落から余計な文を選んでくるのがミソだ。そうすれば、異なる著者の文の癖を誤って学習することがない。同じテーマなのに、ちょっとずれていることを巧く学習させられる。しかも、前段落の任意の場所に、後段落の任意の文を挿入することにより、教師データを爆発的に増やすことができる。

つまり、「①は唐突だな」という第一印象を信じればよかったのだ。同じような文を続けて二回書くのはやぼったい、などと余計なことを考えたのがいけなかった。XLNetが示したセンター英語の不要文除去の攻略法はシンプルだ。英文の巧拙は考えるな。少しでも唐突感のある文を選べ。

とにかく「東ロボ」はセンター英語で9割以上の正答率を安定して出せるようになった。ただ、あまりに突然100％近く正答するようになったため、いったい何が奏功したのか、よくわからなかった。センター入試英語がどのように作られているかは部外者には知る由もないが、先ほどの問題の出典元がどこかにあるのなら、同じ出典元から作られた別の問題がRACEに混じっていた可能性すら残る。

AIは意味を理解できない

こうして私たちの目の前には事実だけが残った。RACEとXLNetを使ったところ、いわゆる「長文読解」と呼ばれる問題群の正答率が一気に向上した。次の段落から一文取り出して、前の段落に挿入した文を不要文だ、と学習させたら、センター入試の過去の不要文除去問題は100％解けた。にもかかわらず、人間にとってより易しく見える会話文完成の精度はさほど上がらなかった。以上だ。なぜなのか、正直、わからない。

唯一言えることは、現在の技術の延長線上では、国語で同程度の結果に達することは想像できないということだろう。国語にとってRACEに替わるものは存在しないし、今後も存在しえないからだ。「日本語を母語として学ぶ人口」は、英語を第二言語として学ぶ人口の十分の一どころか、二十分の一未満だろう。しかも、その数は年々減っている。センター国語を作問するのと同様の真剣さと専門性で、類題を10万問作れる研究チームは世界中を探してもどこにも存在しない。

それ以前に、そもそもそんなデータセットを作るモチベーションを誰も持ちようもない。（なにしろ、その「国語」のテストには、現代中国語とは似て非なる「漢文」がなぜか含まれていて、その配点が全体の1/4を占めているのである！）

東ロボの英語大躍進のタネ明かしを聞いた読者の多くは、「そんなものは読解ではない。単に一番可能性が高い選択肢を選ぶAIを作ったにすぎない」と不満に思ったことだろう。同感だ。

私は『AI vs. 教科書が読めない子どもたち』から一貫して、否、東ロボプロジェクトをスタートしたときから、AIには意味がわからない、ただ、一番正しそうな選択肢を統計的に選ぶだけだと伝えてきた。だが、BERTやXLNetなど新手法が出るたびに、「今度こそAIは読解力を身に付けた」と主張する人が後を絶たなかった。

けれども、その喧噪もそろそろ終わることだろう。なにしろ、うちの大学院生が「AIが意味を理解しないのは当然のことだ」と言うようになったのだから。

著者フォローすると、新井 紀子さんの最新記事をメールでお知らせします。