家や職失う｢巨大冤罪｣招いたアルゴリズムの怖さ オランダ政府は激しく非難され､内閣も総辞職

このアルゴリズムは、完全に自身の裁量に任されていたため、いわばブラックボックスのなかで働いていたようなものだった。もし誰かがときどき箱のふたを開けて、アルゴリズムが何に取り組んでいるのかを確認していたら、問題はもっと早く見つかったかもしれない。

この不祥事で、内閣も総辞職

「児童手当事件（toeslagenaffaire）」として知られるようになった、国税関税執行局によるこの不祥事によって、オランダ政府は10億ユーロ（約1298億円）を超える補償金を払うことになると考えられている。人種差別、人権侵害、市民に対する「前代未聞の不当行為」を行ったとして、政府は激しく非難された。総選挙を2カ月後に控えた2021年1月、この不祥事の責任を取って、首相をはじめ内閣が総辞職した。

確かに、「アルゴリズムは公平な判断に基づいて機能している」「アルゴリズムは監視しなくてもいい」と思ったほうが楽であり、「どのみち高度すぎて、一般の人には理解できないものだ」と考えるのも当然のことだ。

「最初のころは、アルゴリズムは本物の魔法にしか思えない」と、数学者のハンナ・フライは記している。「だが、しだいにその仕組みがわかってくると、謎めいた雰囲気は消え去ってしまう。ほとんどの場合、あの見た目の裏に潜んでいるのは、笑ってしまうほど単純なもの（あるいは不安になるほど無鉄砲なもの）なのだ」。

封をされた箱のなかで物事を進めているアルゴリズムのふたを実際に開けて見た人は、何もかもがひどく乱れた状態が内部でつくりだされていることに気づいて恐ろしくなり、箱と中身をできるだけ遠くに投げてしまいがちだ。

このように、コンピューターに簡単に罪を負わせてしまえることにより、自分は責任を取らずにすむという問題がある。しかも、コンピューターのせいにすることによって、本来なら向き合わなければならない不都合な真実を直視しなくなるという恐れもある。