検定を幾何で理解する 4: 尤度比検定は高さの差を見る

Wald 検定は距離を見ました。

Score 検定は坂を見ました。

尤度比検定は、高さの差を見ます。

ここでいう高さは、対数尤度の高さです。

2 つの頂上を比べる

対数尤度を山の地形だと思ってください。

自由なモデル全体でいちばん高い場所を、

$$\hat{\theta}$$

とします。

帰無仮説の範囲内でいちばん高い場所を、

$$\hat{\theta}_0$$

とします。

尤度比検定は、この 2 つの高さを比べます。

$$2\{\ell(\hat{\theta}) - \ell(\hat{\theta}_0)\}$$

この値が大きいほど、帰無仮説の中に閉じ込められることで大きく損をしている、という意味になります。

幾何では制限ありと制限なしの比較

帰無仮説は、地図の中の制限された場所です。

自由なモデルは、もっと広い場所です。

自由に動けるなら高い場所まで行ける。でも帰無仮説の中にいると、そこまで行けない。

この差が大きければ、帰無仮説はデータに合っていないと考えます。

局所二次近似の上で 3 つの検定を見る

真の点の近くでは対数尤度の山を二次関数で近似できるので、Wald・Score・尤度比は同じ地図に乗ります。

データが指す位置

なぜ 2 をかけるのか

統計量にはよく

$$2\{\ell(\hat{\theta}) - \ell(\hat{\theta}_0)\}$$

のように 2 がつきます。

これは、最尤点の近くで対数尤度を二次関数として近似すると、距離の二乗の形にそろうからです。

山の頂上付近は、なめらかな放物線のように見えます。

その放物線の高さの落差は、横方向の距離の二乗に対応します。

だから大標本では、尤度比検定の統計量が $\chi^2$ 分布に近づきます。

3 つの検定を同じ絵で見る

Wald 検定は、自由な推定点から帰無仮説までの距離を見ます。

Score 検定は、帰無仮説の点で外へ出る坂を見ます。

尤度比検定は、帰無仮説の中の頂上と自由な頂上の高さの差を見ます。

見方は違いますが、最尤点の近くで地形がきれいな二次関数に見えるなら、3 つは近い答えになります。

今日のまとめ

尤度比検定は、高さの差を見る検定です。

検定を幾何で見ると、Wald は距離、Score は坂、尤度比は高さです。

この 3 つを同じ地図に置くと、検定は暗記する公式ではなく、確率分布の地形を読む方法になります。