尤度比検定・ワルド検定・スコア検定

統計 資格




1. 尤度比検定

1. 尤度比検定統計量

X _ 1,\ldots,X _ nを確率変数のサンプルとし、これらがある確率分布 f(x|\theta)から独立に同一分布（ i.i.d.）に従っているとします。

ここで \thetaはパラメータで、1次元でも多次元でも構いません。


次の仮説を考えます。

\displaystyle{ H_0: \theta \in \Theta_0　\text{vs}　H_1: \theta \in \Theta_0^c }


\Theta _ 0はパラメータ空間 \Thetaの部分集合であり、 \Theta _ 0 \cup \Theta _ 0^ c = \Thetaおよび \Theta _ 0 \cap \Theta _ 0^ c =\emptysetを満たします。

つまり、 \Theta _ 0と \Theta _ 0^ cは互いに排他的で、全体空間 \Thetaをカバーします。


尤度比検定統計量 \lambda(X)は、以下のように定義されます。

\displaystyle{ \lambda(X) = \frac{ \sup_{\theta \in \Theta_0} L(\theta|X) }{ \sup_{\theta \in \Theta} L(\theta|X) } }


ここで、 L(\theta|X) = \prod _ {i=1}^ n f(x _ i|\theta)は尤度関数で、サンプル Xが与えられたときの \thetaの尤度を表します。


\hat{\theta}を全パラメータ空間 \Thetaにおける最尤推定量、 \hat{\theta} _ 0を \Theta _ 0に制限した空間での推定量とすると、尤度比検定統計量は次のようにも書けます。

\displaystyle{ \lambda(X) = \frac{ L(\hat{\theta}_0|X) }{ L(\hat{\theta}|X) } }


2. 棄却域（パラメータが1次元）

パラメータ \thetaが1次元の場合、次の仮説のもとで検定を行います。

\displaystyle{ H_0: \theta = \theta_0　\text{vs}　H_1: \theta \ne \theta_0 }


この場合、尤度比検定統計量の -2\log \lambda(X)は、漸近的に自由度1のカイ二乗分布に従います。

\displaystyle{ -2\log \lambda(X) \xrightarrow{d} \chi^2_1 }


これを利用して、棄却域 Rを以下のように定義することができます。

\displaystyle{ R = \{x : -2\log \lambda(x) > \chi^2_{1, \alpha}\} }


3. 棄却域（パラメータが多次元）

\theta \in \Thetaを k次元、 \theta \in \Theta _ 0を r次元とした一般化されたケースでは、次の仮説の下で検定を行います。

\displaystyle{ H_0: \theta \in \Theta_0　\text{vs}　H_1: \theta \in \Theta_0^c }


この場合、尤度比検定統計量の -2\log \lambda(X)は、漸近的に自由度 k-rのカイ二乗分布に従います。

\displaystyle{ -2\log \lambda(X) \xrightarrow{d} \chi^2_{k-r} }


これを利用して、棄却域 Rを以下のように定義することができます。

\displaystyle{ R = \{x : -2\log \lambda(x) > \chi^2_{k-r, \alpha}\} }




4. 例題

例題を通して、尤度比検定の理解を深めたいと思います。


1. 検定統計量の導出

標準偏差は既知として、正規分布 N(\mu, \sigma^ 2)から得られたデータに対して、尤度比検定を使用して次の検定問題を考えます。

\displaystyle{ H_0: \mu = \mu_0　\text{vs}　\mu \ne \mu_0 }


正規分布の尤度関数を求めて、計算しやすいように式を変形します。

\displaystyle{ \begin{align} L(\mu|X) &= \prod_{i=1}^{n} \frac{1}{\sqrt{2 \pi \sigma^2}} \exp \left(- \frac{(x_i - \mu)^2}{2\sigma^2}\right) \\ &= \left(\sqrt{2 \pi \sigma^2}\right)^{-\frac{n}{2}} \exp \left( - \frac{1}{2\sigma^2} \sum_{i=1}^{n}(x_i - \mu)^2 \right) \\ &= \left(\sqrt{2 \pi \sigma^2}\right)^{-\frac{n}{2}} \exp \left( - \frac{1}{2\sigma^2} \sum_{i=1}^{n} \left( (x_i - \bar{x}) + (\bar{x} - \mu) \right)^2 \right) \\ &= \left(\sqrt{2 \pi \sigma^2}\right)^{-\frac{n}{2}} \exp \left( - \frac{1}{2\sigma^2} \sum_{i=1}^{n} \left( (x_i - \bar{x})^2 + 2(\bar{x} - \mu)(x_i - \bar{x}) + (\bar{x} - \mu)^2 \right) \right) \\ &= \left(\sqrt{2 \pi \sigma^2}\right)^{-\frac{n}{2}} \exp \left( - \frac{1}{2\sigma^2} \left( \sum_{i=1}^{n} (x_i - \bar{x})^2 + 2(\bar{x} - \mu) \sum_{i=1}^{n}(x_i - \bar{x}) + n(\bar{x} - \mu)^2 \right) \right) \\ &= \left(\sqrt{2 \pi \sigma^2}\right)^{-\frac{n}{2}} \exp \left( - \frac{1}{2\sigma^2} \left( \sum_{i=1}^{n} (x_i - \bar{x})^2 + 2(\bar{x} - \mu) (n\bar{x} - n\bar{x}) + n(\bar{x} - \mu)^2 \right) \right) \\ &= \left(\sqrt{2 \pi \sigma^2}\right)^{-\frac{n}{2}} \exp \left( - \frac{1}{2\sigma^2} \sum_{i=1}^{n} (x_i - \bar{x})^2 - \frac{n}{2\sigma^2} (\bar{x} - \mu)^2 \right) \\ \end{align} }


\mu = \hat{\mu}を全パラメータ空間 \Thetaにおける最尤推定量、 \mu = \mu _ 0を \Theta _ 0に制限した空間での推定量として、尤度比検定統計量を求めます。

\displaystyle{ \begin{align} \lambda(X) &= \frac{ L(\mu_0|X) }{ L(\hat{\mu}|X) } \\ &= \frac{ \left(\sqrt{2 \pi \sigma^2}\right)^{-\frac{n}{2}} \exp \left( - \frac{1}{2\sigma^2} \sum_{i=1}^{n} (X_i - \bar{X})^2 - \frac{n}{2\sigma^2} (\bar{X} - \mu_0)^2 \right) }{ \left(\sqrt{2 \pi \sigma^2}\right)^{-\frac{n}{2}} \exp \left( - \frac{1}{2\sigma^2} \sum_{i=1}^{n} (X_i - \bar{X})^2 - \frac{n}{2\sigma^2} (\bar{X} - \hat{\mu})^2 \right) } \\ &= \frac{ \exp \left( - \frac{n}{2\sigma^2} (\bar{X} - \mu_0)^2 \right) \\ }{ \exp \left( - \frac{n}{2\sigma^2} (\bar{X} - \hat{\mu})^2 \right) \\ } \end{align} }


ここで正規分布のパラメータ \muの最尤推定量 \hat{\mu}は次のようになります。

\displaystyle{ \begin{align} \hat{\mu} &= \frac{1}{n}\sum_{i=1}^{n}X_i = \bar{X} \end{align} }


これを用いる十尤度比検定統計量は次のように表すことができます。

\displaystyle{ \begin{align} \lambda(X) &= \exp \left( - \frac{n}{2\sigma^2} (\bar{X} - \mu_0)^2 \right) \end{align} }


今回の場合、パラメータの数は1つのみなので、尤度比検定統計量の -2\log \lambda(X)は、漸近的に自由度1のカイ二乗分布に従います。

\displaystyle{ -2\log \lambda(X) \xrightarrow{d} \chi^2_1 }


棄却域 Rは次のように設定することができます。

\displaystyle{ R = \{x : -2\log \lambda(x) > \chi^2_{1, \alpha}\} }



2. 検定統計量の計算

引き続き、次のような具体例を考えてみます。


標準偏差は既知として、正規分布 N(\mu, 2^ 2)から下記のデータが取得されたとします。

\displaystyle{ X = [10.1, 9.5, 11.1, 10.2, 9.9, 10.5, 11.3, 10.4, 9.8, 10.7] }


尤度比検定を使用して次の検定問題を考えます。有意水準は5%で設定します。

\displaystyle{ H_0: \mu = 10　\text{vs}　\mu \ne 10 }


尤度比検定統計量を求めます。

ここで、問題設定より \mu _ 0 = 10、与えられたデータを計算すると \bar{X} = 10.35となるため、次のように計算することができます。

また、問題設定より n=10, \sigma=2となります。

\displaystyle{ \begin{align} \lambda(X) &= \frac{ L(\mu_0=10|X) }{ L(\hat{\mu}|X) } \\ &= \exp \left( - \frac{10}{2 \cdot 2^2} (10.35 - 10)^2 \right) \\ &= \exp \left( - \frac{10}{2 \cdot 2^2} (10.35 - 10)^2 \right) \\ &= 0.8580 \\ - 2 \log \lambda(X) &= 0.3063 \end{align} }


棄却域を考えます。

有意水準は5%に設定しているので、 \chi^ 2 _ {1, 0.05}は次ののようになります。

\displaystyle{ \chi^2_{1, 0.05} = 3.841 }


以上をふまえて、結論として -2\log\lambda(X) \lt \chi^ 2 _ {1, 0.05}となっているため、帰無仮説を棄却することはできません。




2. ワルド検定

1. ワルド検定統計量

ワルド検定で、次の仮説を考えます。

\displaystyle{ H_0: \theta = \theta_0　\text{vs}　H_1: \theta \ne \theta_0 }


\thetaの最尤推定量を \hat{\theta}とするとき、最尤推定量の漸近有効性より、漸近分布は正規分布に従います。

\displaystyle{ \sqrt{nI_1(\theta)}(\hat{\theta} - \theta) \xrightarrow{d} N(0, 1) }


ここで、 I _ 1(\theta)を I _ 1(\hat{\theta})で推定したものも正規分布に従い、この統計量をワルド検定統計量 W​は次のように表すことができます。

\displaystyle{ \begin{align} \sqrt{nI_1(\hat{\theta})}(\hat{\theta} - \theta) \xrightarrow{d} N(0, 1)\\ W = \sqrt{nI_1(\hat{\theta})}(\hat{\theta} - \theta) \end{align} }


2. 棄却域

次の仮説のもとで検定を行います。

\displaystyle{ H_0: \theta = \theta_0　\text{vs}　H_1: \theta \ne \theta_0 }


この場合、ワルド検定統計量 Wは、漸近的に正規分布に従います。

\displaystyle{ \sqrt{nI_1(\hat{\theta})}(\hat{\theta} - \theta_0) \xrightarrow{d} N(0, 1) }


これを利用して、棄却域 Rを以下のように定義することができます。

\displaystyle{ R = \left\{x : \sqrt{nI_1(\hat{\theta})}(\hat{\theta} - \theta_0) \lt - z_{\alpha/2} \text{または} z_{\alpha/2} \lt \sqrt{nI_1(\hat{\theta})}(\hat{\theta} - \theta_0) \right\} }




3. 例題

例題を通して、ワルド検定の理解を深めたいと思います。


1. 検定統計量の導出

標準偏差は既知として、正規分布 N(\mu, \sigma^ 2)から得られたデータに対して、ワルド検定を使用して次の検定問題を考えます。

\displaystyle{ H_0: \mu = \mu_0　\text{vs}　\mu \ne \mu_0 }


まず、最初に正規分布のフィッシャー情報量 I _ 1(\theta)​を求めます。

正規分布の分散 \sigma^ 2は既知なので、 \muのみ未知のパラメータとして扱います。

\displaystyle{ \begin{align} I_1(\mu) &= - E\left[ \frac{\partial^2}{\partial \mu^2} \log f(X_i | \mu) \right] \\ &= - E\left[ \frac{\partial^2}{\partial \mu^2} \left( - \frac{1}{2}\log 2\pi \sigma^2 - \frac{1}{2\sigma^2}(X_i - \mu)^2 \right) \right] \\ &= - E\left[ \frac{\partial^2}{\partial \mu^2} \left( - \frac{1}{2}\log (2\pi \sigma^2) - \frac{1}{2\sigma^2}(X_i - \mu)^2 \right) \right] \\ &= \frac{1}{\sigma^2} \end{align} }


正規分布のパラメータ \muの最尤推定量 \hat{\mu}は次のようになります。

\displaystyle{ \begin{align} \hat{\mu} &= \frac{1}{n}\sum_{i=1}^{n}X_i = \bar{X} \end{align} }


これを用いるワルド検定統計量は次のように表すことができます。

\displaystyle{ \begin{align} W &= \sqrt{nI_1(\hat{\mu})}(\hat{\mu} - \mu_0) \\ &= \frac{\hat{\mu} - \mu_0}{\sigma/\sqrt{n}} \end{align} }


ワルド検定統計量 Wは、漸近的に正規分布に従います。

\displaystyle{ W = \frac{\hat{\mu} - \mu_0}{\sigma/\sqrt{n}} \xrightarrow{d} N(0, 1) }


棄却域 Rは次のように設定することができます。

\displaystyle{ R = \left\{ x : \frac{\hat{\mu} - \mu_0}{\sigma/\sqrt{n}} \lt - z_{\alpha/2} \text{または} z_{\alpha/2} \le \frac{\hat{\mu} - \mu_0}{\sigma/\sqrt{n}} \right\} }



2. 検定統計量の計算

引き続き、次のような具体例を考えてみます。


標準偏差は既知として、正規分布 N(\mu, 2^ 2)から下記のデータが取得されたとします。

\displaystyle{ X = [10.1, 9.5, 11.1, 10.2, 9.9, 10.5, 11.3, 10.4, 9.8, 10.7] }


ワルド検定を使用して次の検定問題を考えます。有意水準は5%で設定します。

\displaystyle{ H_0: \mu = 10　\text{vs}　\mu \ne 10 }


ワルド検定統計量を求めます。

ここで、問題設定より \mu _ 0 = 10、与えられたデータを計算すると \bar{X} = 10.35となるため、次のように計算することができます。

また、問題設定より n=10, \sigma=2となります。

\displaystyle{ \begin{align} W &= \frac{\hat{\mu} - \mu_0}{\sigma/\sqrt{n}} \\ &= \frac{10.35 - 10}{2/\sqrt{10}} \\ &= 0.5534 \end{align} }


棄却域を考えます。

有意水準は5%に設定しているので、 z _ {0.05/2}は次ののようになります。

\displaystyle{ z_{0.05/2} = 1.96 }


以上をふまえて、結論として -z _ {\alpha/2} \lt W \lt z _ {\alpha/2}となっているため、帰無仮説を棄却することはできません。




3. スコア検定

1. スコア検定統計量

スコア検定で、次の仮説を考えます。

\displaystyle{ H_0: \theta = \theta_0　\text{vs}　H_1: \theta \ne \theta_0 }


スコア関数を次の式で定義されます。

\displaystyle{ S_n(\theta, X) = \frac{d}{d\theta} \log f_n(X|\theta) }


スコア関数の期待値と分散は、それぞれ次のようになります。

\displaystyle{ \begin{align} E[S_n(\theta, X)] &= 0 \\ Var(S_n(\theta, X)) &= n I_1(\theta) \end{align} }


S _ n(\theta, X)は対数を取った尤度関数となるので、確率変数の和としてみることができます。

中心極限定理から、確率変数の平均（または和）が、サンプルサイズが大きくなるにつれて正規分布に収束することになるので、 n→∞​のときスコア関数は正規分布に従います。


これを用いるスコア検定統計量は次のように表すことができます。

\displaystyle{ S = \frac{S_n(\theta, X)}{\sqrt{nI_1(\theta)}} \xrightarrow{d} N(0, 1) }


2. 棄却域

次の仮説のもとで検定を行います。

\displaystyle{ H_0: \theta = \theta_0　\text{vs}　H_1: \theta \ne \theta_0 }


この場合、スコア検定統計量 Sは、正規分布に従います。

\displaystyle{ \frac{S_n(\theta_0, X)}{\sqrt{nI_1(\theta_0)}} \xrightarrow{d} N(0, 1) }


これを利用して、棄却域 Rを以下のように定義することができます。

\displaystyle{ R = \left\{ x : \frac{S_n(\theta, X)}{\sqrt{nI_1(\theta)}} \le - z_{\alpha/2} \text{または} z_{\alpha/2} \le \frac{S_n(\theta, X)}{\sqrt{nI_1(\theta)}} \right\} }




3. 例題

例題を通して、スコア検定の理解を深めたいと思います。


1. 検定統計量の導出

標準偏差は既知として、正規分布 N(\mu, \sigma^ 2)から得られたデータに対して、スコア検定を使用して次の検定問題を考えます。

\displaystyle{ H_0: \mu = \mu_0　\text{vs}　\mu \ne \mu_0 }


まず、最初に正規分布のスコア関数を求めます。

正規分布の分散 \sigma^ 2は既知なので、 \mu​のみ未知のパラメータとして扱います。

\displaystyle{ \begin{align} S_n(\mu, X) &= \frac{d}{d\mu} \left( \log \prod_{i=1}^{n} \frac{1}{\sqrt{2 \pi \sigma^2}} \exp \left( - \frac{(X_i - \mu)^2}{2\sigma^2} \right) \right) \\ &= \frac{1}{\sigma^2}\sum_{i=1}^{n} (X_i - \mu) \\ &= \frac{1}{\sigma^2}(n \bar{X} - n\mu) \\ &= \frac{n}{\sigma^2}(\bar{X} - \mu) \\ \end{align} }


フィッシャー情報量は、ワルド検定の時に求めた通り、次のようになります。

\displaystyle{ \begin{align} I_1(\mu) &= \frac{1}{\sigma^2} \end{align} }


これを用いるスコア検定統計量は次のように表すことができます。

\displaystyle{ \begin{align} S &= \frac{S_n(\mu, X)}{\sqrt{nI_1(\mu)}} \\ &= \frac{\frac{n}{\sigma^2}(\bar{X} - \mu)}{\sqrt{n/\sigma^2}} \\ &= \sqrt{\frac{n}{\sigma^2}}\cdot(\bar{X} - \mu) \\ \end{align} }


スコア検定統計量 Sは、正規分布に従います。

\displaystyle{ S = \sqrt{\frac{n}{\sigma^2}}\cdot(\bar{X} - \mu_0) \xrightarrow{d} N(0, 1) }


棄却域 Rは次のように設定することができます。

\displaystyle{ R = \left\{ x : \sqrt{\frac{n}{\sigma^2}}\cdot(\bar{X} - \mu_0) \lt - z_{\alpha/2} \text{または} z_{\alpha/2} \le \sqrt{\frac{n}{\sigma^2}}\cdot(\bar{X} - \mu_0) \right\} }



2. 検定統計量の計算

引き続き、次のような具体例を考えてみます。

標準偏差は既知として、正規分布 N(\mu, 2^ 2)から下記のデータが取得されたとします。

\displaystyle{ X = [10.1, 9.5, 11.1, 10.2, 9.9, 10.5, 11.3, 10.4, 9.8, 10.7] }


スコア検定を使用して次の検定問題を考えます。有意水準は5%で設定します。

\displaystyle{ H_0: \mu = 10　\text{vs}　\mu \ne 10 }


スコア検定統計量を求めます。

ここで、問題設定より \mu _ 0 = 10、与えられたデータを計算すると \bar{X} = 10.35となるため、次のように計算することができます。

また、問題設定より n=10, \sigma=2となります。

\displaystyle{ \begin{align} S &= \sqrt{\frac{n}{\sigma^2}}\cdot(\bar{X} - \mu_0) \\ &= \sqrt{\frac{10}{2^2}}\cdot(10.35 - 10) \\ &= 0.5534 \end{align} }


棄却域を考えます。

有意水準は5%に設定しているので、 z _ {0.05/2}は次ののようになります。

\displaystyle{ z_{0.05/2} = 1.96 }


以上をふまえて、結論として -z _ {\alpha/2} \lt S \lt z _ {\alpha/2}となっているため、帰無仮説を棄却することはできません。