人間の直感は得てしてみんな｢裏切り者｣だ 良きデータサイエンスは驚くほど直感的

私はデータ分析に10年携わり、斯界の権威の謦咳（けいがい）に接する幸運に恵まれた。それを通じて学んだ最も重要な教訓は、良きデータサイエンスは思ったほど複雑ではない、というものだ。実際、良きデータサイエンスとは驚くほど直感的なものだ 。

なぜか？ データサイエンスとは、煎じ詰めればパターンを見いだし、ある変数が他の変数にどう影響するかを予測することであり、人は絶えずこれをやっているからだ。

祖母の助言について考えてみよう。彼女は1世紀近くにわたって家族や友人や知り合いから聞き込んで脳に保存してきた膨大なデータにアクセスした。そして私に似た性格――感受性が強く、孤独癖があり、ユーモアのセンスがある――を持つ例を抽出した。そして女性にとって重要な資質――親切さ、賢さ、容姿――を絞り込んだ。

そしてそれを良き結婚生活に伴う資質と組み合わせたうえで、結論を出した。つまり彼女はパターンを抽出し、ある変数が他にどう影響するかを予言したのだ。おばあちゃんはデータサイエンティストだ。

あなただってデータサイエンティストだ。子どもの頃、泣けばお母さんがかまってくれると思っていたはずだ。これはデータサイエンスだ。大人になってからは、愚痴ばかりこぼしていると人から相手にされなくなると悟ったはずだ。それもデータサイエンスだ。

人に相手にされなくなると、面白くない。そしてそうなると、つっけんどんになる。つっけんどんになると、ますます人から相手にされなくなる。いずれもれっきとしたデータサイエンスだ。

データサイエンスはこんなにも自然なことだから、私は、最高のビッグデータ研究は少しばかり賢い人になら誰にでも理解できるものだと悟った。ある研究が理解できなければ、悪いのはおそらくあなたではなくその研究のほうだ。

「共通の友人」は夫婦円満の敵

慎重なコンピュータ分析を伴わない直感が大間違いにつながることもある。人は自らの経験や偏見に惑わされやすい。実際、私の祖母は積年の経験を生かして長続きする男女関係について家族の誰よりも良い助言ができるが、それでもなぜそうなるのかについては疑わしい見解を持っている。たとえば彼女は、共通の友人を持つことの重要性を説いてやまない。これが自分の結婚生活の成功のカギだったと信じているのだ。

彼女は夫（私の祖父）とニューヨーク市クイーンズの小さな裏庭のデッキチェアに腰かけて、決まった顔ぶれのご近所さんたちとうわさ話に興じて充実した日々を送った。