推測統計の｢仮説検定｣をビジネスで生かす方法 データの差異は誤差なのか､意味のある違いなのかを検証

なお、帰無仮説のもとで計算し、確率が有意水準以下になることを「棄却域に入る」、有意水準以下にならないことを「採択域に入る」と言います。

仮説検定の注意点

仮説検定を行ううえで、特に注意すべき2つのポイントを強調しておきましょう。

1つ目は、「仮説検定から何らかの結論を引き出せるのは、帰無仮説に基づいて算出した値が棄却域に入った場合のみ」であるということです。

言い換えると、これは棄却域の設定次第で、有意義な結論が得られるかどうかが決まることを意味します。棄却域を定める確率を「有意水準」と呼ぶのは、まさにこのためです。

帰無仮説に基づいて計算した値が採択域に入った場合は、「よくあることが起きた」、つまり「確率的に見ておかしな結論ではない」と解釈され、帰無仮説を否定することはできません。しかし、だからと言って帰無仮説が正しいと断言できるわけでもありません。

「採択域」とは言うものの、帰無仮説は決して「採択」できないことに気をつけてください。

たとえば、新しい薬の効果を調べるために、帰無仮説「新薬と従来の薬に差はない」を立てたとしましょう。そして仮説検定の結果、帰無仮説が棄却できなかったとします。それでも「新薬は従来の薬を上回る効果がない」と結論付けるのは早計です。

単に、今回の実験データでは、新薬の効果を証明するほどの証拠が得られなかった、というだけです。もっと大規模な実験を行ったり、異なる実験デザインを採用したりすれば、新薬の効果が証明されるかもしれません。

帰無仮説が棄却できない場合、私たちは「帰無仮説は正しい」ではなく、「帰無仮説を棄却するだけの十分な証拠がない」と考えるべきなのです。

重要な注意点の2つ目は、「帰無仮説は確率が計算できるように設定する」ということです。

仮説検定で証明したいことの多くは、「効果がある」とか「重要な（意味のある）差が認められる」などの不等式（A≠B）で表される事柄ですが、差があることを仮定して確率を計算するのは難しいことが多いです。