AIに読解力があると思う人に知ってほしい現実 学生の新常識は｢シンギュラリティ＝黒歴史｣だ

学生たちの目下の悩みは、AI技術なるものを追い求めた先に、何らかの答えなり達成感はあるのか、ということである。世界中の研究者が、公開されているベンチマーク（同一課題に対する複数のAIシステムの性能評価、比較を行うためのデータセット）を使って、0.1%単位で精度を競い合っている。

何千人もがターゲットにしている有名なベンチマークで「勝つ」ことは、普通の学生や研究者には難しい。マイナーで手ごろなベンチマークを見つけて、成果を国際会議に通すべく準備する。何週間もラボに泊まり込んでようやく他のAIの性能を上回ったと思って論文を書き始める。だが、書き終わる頃にはすでに誰かに抜かれている。

しかも、機械学習以前のアルゴリズムと違って、数十万単位のデータで学習する最近の統計的機械学習は、精度が出ても出なくても、その理由がわからない。「この教師データ（AIを訓練するための正解付きデータ）が悪さをしている」ことを突き止めようとする研究も進んではいるが、完全ではない。

「東ロボ」、英語大躍進の理由

東ロボもまったく同じ経験をした。2019年、東ロボ英語チームは、同年1月に実施されたセンター入試英語（筆記）において、200点満点中185点を獲得したことを発表した。過去のセンター入試でも安定して90％の正答率を出している。前年まで100～120点しか取れていなかったことを思うと大躍進である。

185点という点数を目にしてふと思い出した。2013年にセンター模試に初めて挑戦したときに、代ゼミから講評を受けたときのことだ。「センター英語で9割取れなければ東大は合格しないと思ってください」。

つまり、東ロボは2019年、ようやく東大入試の前提に立てたということかもしれない。けれども、残念ながら、東ロボは人間ではないので、センター英語で9割取れるようになったのだから、やがて「東大に入れる」という推論は無効だ。

一方で、英語を重視する私大文系学部の存在と、東ロボの英語、数学、世界史の実力を考え合わせると、早慶のどこかの学部には入れてもおかしくない、とは思った。

英語チームの躍進の主因は、BERTを凌ぐと言われるXLNetという自然言語処理技術だと解釈されることが多い。だが、そうまとめてしまっては、この現象の本質を掴み損ねる。BERTやXLNetは先行する深層学習に比べてモデルが複雑だ。まともに動かすためには、膨大な教師データが必要になる。

日本の入試問題や模試の問題は、多くても毎年百単位でしか増えていかない。だからこそ、これ以上複雑な深層学習のモデルを使っても、センター入試英語は攻略できないだろうと、私たちは2016年の段階で考えたのである。

しかし、その時の私たちは見落としていたことがあった。それは英語を第二言語として学ぶのは日本人だけではない、ということだ。世界中の国々のうち、英語を母語として育つ人以外の多くが英語を第二言語として学ぶ。

その中には人口13億を超す中国が含まれる。彼らは日本人以上に英語テスト漬けだった。カーネギーメロン大学の研究チームが中国の中高生向けの英語テスト問題、約10万点を集め、RACEという名前のデータセットとして公開した。