最尤推定量の漸近正規性 - 機械学習ともろもろ

最尤推定量の漸近的性質を解説します。

統計検定1級の試験対策としては、最尤推定量の漸近的性質の考え方と式を覚えておくことが重要になってきます。

まず最初に、推定量の一致について解説します。

推定量の一致性とは、推定量がサンプルサイズが無限大に近づくにつれて、推定しようとしている母数（パラメータ）の真の値に確率収束する性質を指します。

つまり、観測データの量が多くなればなるほど、推定量はその真の値に近づくということです。

一致性の定義は、数学的には次のように表されます。

推定量 $\hat{\theta}_n$ が母数 $\theta$ に対して一致推定量であるとは、任意の正の値 $\epsilon \gt 0$ に対して、以下の条件が成立することを意味します。

$\displaystyle{ \lim_{n→∞} P(|\hat{\theta}_n - \theta| \lt \epsilon) = 1 }$

ここで、 $n$ はサンプルサイズを表し、 $P$ は確率を表します。

この式は、「サンプルサイズ $n$ が無限大に近づくにつれて、推定量 $\hat{\theta}_n$ が真の値 $\theta$ から $\epsilon$ より小さな距離内に収まる確率が $1$ に近づく」という意味になります。

最尤推定量の一致性は、サンプルサイズが無限大に近づくにつれて、最尤推定量が推定しようとするパラメータの真の値に確率的に収束する性質を指します。

リンク

最尤推定量の漸近正規性は、最尤推定量が大きなサンプルサイズの極限で正規分布に従うという性質です。

これは、サンプルサイズが無限大に近づくにつれて、最尤推定量の分布が特定の正規分布に近づくことを意味します。

まず最初に、漸近正規性について解説します。

あるパラメータ $\theta$ の最尤推定量 $\hat{\theta} _ n$ があるとき、サンプルサイズ $n$ が大きくなるにつれて、 $\hat{\theta} _ n$ の分布が正規分布に近づくことを指します。

数学的には、次のように表されます。

$\displaystyle{ \sqrt{n}(\hat{\theta}_n - \theta) \xrightarrow{d} N(0, \sigma^2) }$

ここで $\xrightarrow{d}$ は分布収束を意味し、 $N(0, \sigma^ 2)$ は平均 $0$ 、分散 $\sigma^ 2$ の正規分布となります。

このときの[tex: \sigma²]は漸近分散と呼ばれます。

最尤推定量の漸近正規性とは、最尤推定量 $\hat{\theta}^{ML}_n$ としたとき、次のように表されます。

$\displaystyle{ \sqrt{n}(\hat{\theta}^{ML}_n - \theta) \xrightarrow{d} N\left(0, \frac{1}{I_1(\theta)}\right) }$

$I_1(\theta)$ はフィッシャー情報量を表し、 $\sqrt{n}(\hat{\theta}^{ML}_n - \theta)$ は平均 $0$ 、分散 $\frac{1}{I_1(\theta)}$ に従う正規分布に分布収束することを意味しています。

リンク

あるパラメーター $\theta$ の推定において、推定量 $\hat{\theta}_n$ が存在し、サンプルサイズ $n$ が無限大に近づくにつれて、次のように分散がクラメール・ラオの下限になるとき、その推定量は漸近有効であると言います。

$\displaystyle{ \lim_{n→∞}Var(\hat{\theta}_n) = \frac{1}{nI_1(\theta)} }$

ここで、 $I_1(\theta)$ はパラメーター $\theta$ に関するフィッシャー情報量です。

最尤推定量の漸近有効性は、最尤推定量 $\hat{\theta}^ {ML} _ n$ としたとき、次のように表すことができます。

$\displaystyle{ \lim_{n→∞}E\left[ \left\{ \sqrt{n}(\hat{\theta}^{ML}_n - \theta) \right\}^2 \right] = \frac{1}{I_1(\theta)} }$

分散がクラメール・ラオの下限となっているため、最尤推定量は漸近有効な推定量であると言えます。

リンク