東大王とAIが｢クイズで対決｣ガチンコ勝負の結末 人間も驚く能力の高さと欠点が浮き彫りに

問題作成部門では、AIが作成したクイズを「問題文と想定解が正しく対応しているか」「問題文に雑学や興味深い情報が盛り込まれているか」など複数の基準で採点。上位3チームのクイズに人間のクイズプレイヤーが挑戦し、それぞれが最もよくできていると評価したチームに加点して、総合得点を出した。問題作成部門ではパナソニックソリューションテクノロジーのチームが優勝した。

予選の審査を担当した徳久さんは「AIはとんでもなく難しい奇問や、答えが複数あるようなクイズを作ることはあるものの、破綻のない問題文を作るというレベルには達していた」と評した。

AIに面白い問題を要求してみると…

ただ、面白さや雑学要素は不足気味で、そのまま使えそうなものは20問のうち1、2問にとどまったという。また、AIに「面白い問題を」と要求すると嘘を付くケースが頻発したそうだ。

「既存の情報を勘違いしたとか盛るとかではなく、まったくの虚構の情報をもっともらしく流暢に語る（笑）。人間が何を面白がるかというのはわかっているというのが興味深い」（徳久さん）

本選に進出した明治大学理工学部のチームは、Wikipediaを覚えさせてクイズを作成したが、最新のバージョンでなかったためか、ダンスボーカルユニット「新しい学校のリーダーズ」をテーマにした問題作成を指示されたAIが「新しい学校のリーダーズが学校をよくするにはどうすればいいでしょうか」ととんちんかんな作問をするなど、いくつかの固有名詞に対応できなかったという。

また、問題作成部門では参加8チームのうち1チームだけがChatGPTを使わず従来の機械学習の手法でAIを訓練し、問題を作らせたものの、予選最下位だった。実行委員会はその挑戦をたたえながら「従来の手法で挑戦したチームが一番労力をかけていたが、ChatGPTに歯が立たなかった。AI技術やその応用が大きな転換点を迎えていることを実感した」と話した。

キオクシアでクイズAI開発に取り組む市川尚志さんは、「最新のニュースなどからAIでクイズをつくれると、教育や介護、地方創生といった新たな分野でクイズ活用が可能になる。現時点では面白くない、嘘が出現するなどの課題はあるが、ベースとなる問題を大量に作ってくれるので作問効率は大きく上がる」と期待した。