中心極限定理 - 機械学習ともろもろ

1. 中心極限定理
2. 証明

1. 中心極限定理

$X_1, X_2, ..., X_n$ を互いに独立で同一の分布に従う確率変数とします。

このとき、各確率変数は平均 $\mu$ と分散 $\sigma^2$ （ $\sigma \gt 0$ ）を持つとします。

これらの標本平均を $\bar{X}$ と表します。

$n$ が十分に大きい場合、 $\bar{X}$ の標準化された値は、標準正規分布に分布収束します。

※ちなみに、 $\bar{X}$ の期待値と分散は、 $E[\bar{X}]=\mu$ , $V[\bar{X}]=\sigma^2/n$ となります。

$\displaystyle{ \frac{\bar{X} - \mu}{\sigma/\sqrt{n}} ～ N(0, 1) }$

つまり、中心極限定理は次の関係式が成り立つということになります。

$\displaystyle{ \begin{align} \lim_{n→∞} P \bigg( \frac{\bar{X}-\mu}{\sigma / \sqrt{n}} \leq x\bigg) &= \int_{-∞}^{x} \frac{1}{\sqrt{2\pi}} e^{-\frac{t^2}{2}} \ dt \end{align} }$

※書籍によっては次のように表記されていることもあります。

$\displaystyle{ \begin{align} \lim_{n→∞} P \bigg( \frac{1}{\sqrt{n}} \sum_{i=1}^{n} \frac{X_i-\mu}{\sigma} \leq x\bigg) &= \int_{-∞}^{x} \frac{1}{\sqrt{2\pi}} e^{-\frac{t^2}{2}} \ dt \end{align} }$

ここで $\frac{1}{\sqrt{2\pi}} e^ {-\frac{t^ 2}{2}} \ dt$ は標準正規分布の確率密度関数になります。

リンク

2. 証明

確率変数 $Z$ を $Z = \frac{\bar{X} - \mu}{\sigma/\sqrt{n}}$ のようにおいて、 $n→∞$ としたとき $f_Z(z)$ の分布が標準正規分布になることを確認して、中心極限定理を証明します。

具体的には、 $n→∞$ としたときに $Z$ のモーメント母関数が標準正規分布のモーメント母関数と一致するかを確認します。

標準正規分布のモーメント母関数と一致すれば、モーメント母関数と確率分布の対応により、中心極限定理が示されたと言えるわけです。

1. f_Z(z)の導出

$f_Z(z)$ を求めるために、 $f_\bar{X}(\bar{x})$ を変数変換して、 $f_Z(z)$ に変換していきます。

変数変換を行うために、 $Z$ の逆関数を求めます。

$\displaystyle{ \begin{align} \bar{x} &= \frac{\sigma}{\sqrt{n}}z + \mu \end{align} }$

$\frac{d\bar{x}}{dz}$ を求めます。

$\displaystyle{ \begin{align} \frac{d\bar{x}}{dz} &= \bigg( \frac{\sigma}{\sqrt{n}}z + \mu \bigg)' \\ &= \frac{\sigma}{\sqrt{n}} \end{align} }$

積分区間を求めます。

$\displaystyle{ \left\{ \begin{array}{ll} \bar{x}: -∞ → ∞\\ z: -∞ → ∞ \end{array} \right. }$

以上を利用して、 $f_Z(z)$ を求めます。

$\displaystyle{ \begin{align} \int_{-∞}^{∞} f_Z(z) \ dz &= \int_{-∞}^{∞} f_{\bar{X}}(\bar{x}) \ d\bar{x} \\ &= \int_{-∞}^{∞} f_{\bar{X}}(\frac{\sigma}{\sqrt{n}}z + \mu) \ \frac{d\bar{x}}{dz} \ dz \\ &= \int_{-∞}^{∞} f_{\bar{X}}(\frac{\sigma}{\sqrt{n}}z + \mu) \ \frac{\sigma}{\sqrt{n}} \ dz \\ &= \frac{\sigma}{\sqrt{n}} \int_{-∞}^{∞} f_{\bar{X}}(\frac{\sigma}{\sqrt{n}}z + \mu) \ dz \\ \end{align} }$

以上より、 $f_Z(z)$ は次のように表すことができました。

$\displaystyle{ \begin{align} f_Z(z) &= \frac{\sigma}{\sqrt{n}} f_{\bar{X}}(\frac{\sigma}{\sqrt{n}}z + \mu) \\ &= \frac{\sigma}{\sqrt{n}} f_{\bar{X}}(\bar{x}) \end{align} }$

リンク

2. M_Z(z)の導出

$f_Z(z)$ が求まったので、 $Z$ のモーメント母関数を求めます。

$\displaystyle{ \begin{align} M_Z(\theta) &= E[e^{\theta Z}] \\ &= \int_{-∞}^{∞} e^{\theta z} f_Z(z) \ dz \\ \end{align} }$

ここで $z$ を $\bar{x}$ に置き換えます。

加えて、 $\frac{d\bar{x}}{d\bar{x}}$ を掛けて、 $\frac{d\bar{x}}{d\bar{x}}・dz$ から $\frac{dz}{d\bar{x}}・d\bar{x}$ に置き換えます。

$\displaystyle{ \begin{align} M_Z(\theta) &= \int_{-∞}^{∞} e^{\theta z} f_Z(z) \ dz \\ &= \int_{-∞}^{∞} e^{\theta(\frac{\bar{x}-\mu}{\sigma/\sqrt{n}})} \ \frac{\sigma}{\sqrt{n}} \ f_{\bar{X}}(\bar{x}) \ \frac{d\bar{x}}{d\bar{x}} \ dz \\ &= \int_{-∞}^{∞} e^{\theta(\frac{\sqrt{n}}{\sigma}\bar{x} - \frac{\sqrt{n}}{\sigma}\mu)} \ \frac{\sigma}{\sqrt{n}} \ f_{\bar{X}}(\bar{x}) \ \frac{d\bar{x}}{dz} \ d\bar{x}\\ &= \int_{-∞}^{∞} e^{\frac{\sqrt{n}\theta}{\sigma}\bar{x}} \ e^{-\frac{\sqrt{n}\theta}{\sigma}\mu} \ \frac{\sigma}{\sqrt{n}} \ f_{\bar{X}}(\bar{x}) \ \frac{\sqrt{n}}{\sigma} \ d\bar{x}\\ &= e^{-\frac{\sqrt{n}\theta}{\sigma}\mu} \int_{-∞}^{∞} e^{\frac{\sqrt{n}\theta}{\sigma}\bar{x}} \ f_{\bar{X}}(\bar{x}) \ d\bar{x}\\ \end{align} }$

$\int _ {-∞}^ {∞} e^ {\frac{\sqrt{n}\theta}{\sigma}\bar{x}} \ f _ {\bar{X}}(\bar{x}) \ d\bar{x}$ の箇所をモーメント母関数の形式で表します。

$\displaystyle{ \begin{align} M_Z(\theta) &= e^{-\frac{\sqrt{n}\theta}{\sigma}\mu} \int_{-∞}^{∞} e^{\frac{\sqrt{n}\theta}{\sigma}\bar{x}} \ f_{\bar{X}}(\bar{x}) \ d\bar{x} \\ &= e^{-\frac{\sqrt{n}\theta}{\sigma}\mu} M_{\bar{X}}\bigg(\frac{\sqrt{n}\theta}{\sigma}\bigg) \end{align} }$

リンク

3. M_X(x)の導出

上記の内容で $M_Z(\theta)$ を $M_{\bar{X}}(\bar{x})$ で表すことができました。

さらに、 $M_{\bar{X}}(\bar{x})$ を $M_X(x)$ で表していきます。

$\bar{X}$ のモーメント母関数を $M_{\bar{X}}(\theta)$ とおくと、次のように表すことができます。

$\displaystyle{ \begin{align} M_{\bar{X}}(\theta) &= E[e^{\theta \bar{X}}] \\ &= E[e^{\theta・\frac{1}{n}(X_1 + X_2 + ・・・+X_n)}] \\ &= E[e^{\frac{\theta}{n}X_1 + \frac{\theta}{n}X_2 + ・・・+\frac{\theta}{n}X_n}] \\ &= E[e^{\frac{\theta}{n}X_1}・e^{\frac{\theta}{n}X_2}・・・e^{\frac{\theta}{n}X_n}] \\ &= E[e^{\frac{\theta}{n}X_1}]・E[e^{\frac{\theta}{n}X_2}]・・・E[e^{\frac{\theta}{n}X_n}] \\ \end{align} }$

ここで、 $M _ X(\frac{\theta}{n}) = E[e^ {\frac{\theta}{n}X _ n}]$ となるので、次にように表すことができます。

$\displaystyle{ \begin{align} M_{\bar{X}}(\theta) &= E[e^{\frac{\theta}{n}X_1}]・E[e^{\frac{\theta}{n}X_2}]・・・E[e^{\frac{\theta}{n}X_n}] \\ &= M_X\bigg( \frac{\theta}{n} \bigg)・M_X\bigg( \frac{\theta}{n} \bigg)・・・M_X\bigg( \frac{\theta}{n} \bigg) \\ &= \bigg\{ M_X\bigg( \frac{\theta}{n} \bigg) \bigg\}^n \end{align} }$

リンク

4. M_Z(θ)の整理

求めた $M_{X}(\theta)$ を代入して $M_Z(\theta)$ を整理していきます。

$\displaystyle{ \begin{align} M_Z(\theta) &= e^{-\frac{\sqrt{n}\theta}{\sigma}\mu} M_{\bar{X}}\bigg(\frac{\sqrt{n}\theta}{\sigma}\bigg) \\ &= e^{-\frac{\sqrt{n}\theta}{\sigma}\mu} \bigg\{ M_X\bigg( \frac{1}{n} \frac{\sqrt{n}\theta}{\sigma} \bigg) \bigg\}^n \\ &= e^{-\frac{\sqrt{n}\theta}{\sigma}\mu} \bigg\{ M_X\bigg( \frac{\theta}{\sqrt{n}\sigma} \bigg) \bigg\}^n \\ \end{align} }$

両辺に $log$ を取って整理していきます。

$\displaystyle{ \begin{align} M_Z(\theta) &= e^{-\frac{\sqrt{n}\theta}{\sigma}\mu} \bigg\{ M_X\bigg( \frac{\theta}{\sqrt{n}\sigma} \bigg) \bigg\}^n \\ \log M_Z(\theta) &= \log \bigg[ e^{-\frac{\sqrt{n}\theta}{\sigma}\mu} \bigg\{ M_X\bigg( \frac{\theta}{\sqrt{n}\sigma} \bigg) \bigg\}^n \bigg] \\ &= -\frac{\sqrt{n}}{\sigma}\mu \theta + n \log M_X\bigg(\frac{\theta}{\sqrt{n}\sigma}\bigg) \\ \end{align} }$

ここで、 $n \log M_X\big(\frac{\theta}{\sqrt{n}\sigma}\big)$ の部分を考えます。

まず最初に $M_X\big(\frac{\theta}{\sqrt{n}\sigma}\big)$ だけを考えていきます。

$M_X\big(\frac{\theta}{\sqrt{n}\sigma}\big)$ はモーメント母関数なので次のように表すことができます。

$\displaystyle{ \begin{align} M_X\big(\frac{\theta}{\sqrt{n}\sigma}\big) &= E\bigg[e^{\frac{\theta}{\sqrt{n}\sigma}X}\bigg] \\ \end{align} }$

$e^ {\frac{\theta}{\sqrt{n}\sigma}X}$ の部分をマクローリン展開して整理すると、次のように表すことができます。

※ $e$ のマクローリン展開の公式は次の記事に記載しているので、適宜確認してみてください。

よく使う公式集 - 機械学習ともろもろ

$\displaystyle{ \begin{align} M_X\big(\frac{\theta}{\sqrt{n}\sigma}\big) &= E\bigg[e^{\frac{\theta}{\sqrt{n}\sigma}X}\bigg] \\ &= E\bigg[ 1 + \frac{\theta}{\sqrt{n}\sigma}X + \frac{\theta^2}{2n\sigma^2}X^2 + \frac{\theta^3}{6n\sqrt{n}\sigma^3}X^3 + ・・・ \bigg] \\ &= 1 + \frac{\theta}{\sqrt{n}\sigma}E[X] + \frac{\theta^2}{2n\sigma^2}E[X^2] + \frac{\theta^3}{6n\sqrt{n}\sigma^3}E[X^3] + ・・・ \end{align} }$

次に $\log M_X\big(\frac{\theta}{\sqrt{n}\sigma} \big)$ を考えます。

今求めた $M_X\big(\frac{\theta}{\sqrt{n}\sigma} \big)$ を代入していきます。

ここで、 $t = \frac{\theta}{\sqrt{n}\sigma}E[X] + \frac{\theta^ 2}{2n\sigma^ 2}E[X^ 2] + \frac{\theta^ 3}{6n\sqrt{n}\sigma^ 3}E[X^ 3] + ・・・$ とすると、 $log(1+t)$ という形に見ることができます。

$log(1+t)$ とみなして、マクローリン展開して整理すると、次のように表すことができます。

※ $log(1+t)$ のマクローリン展開の公式は次の記事に記載しているので、適宜確認してみてください。

よく使う公式集 - 機械学習ともろもろ

$\displaystyle{ \begin{align} \log M_X\bigg(\frac{\theta}{\sqrt{n}\sigma} \bigg) &= \log \bigg( 1 + \frac{\theta}{\sqrt{n}\sigma}E[X] + \frac{\theta^2}{2n\sigma^2}E[X^2] + \frac{\theta^3}{6n\sqrt{n}\sigma^3}E[X^3] + ・・・ \bigg) \\ &= \bigg(\frac{\theta}{\sqrt{n}\sigma}E[X] + \frac{\theta^2}{2n\sigma^2}E[X^2]+ ・・・ \bigg) - \frac{1}{2}\bigg(\frac{\theta}{\sqrt{n}\sigma}E[X] + \frac{\theta^2}{2n\sigma^2}E[X^2]+ ・・・ \bigg)^2 + \frac{1}{3}\bigg(\frac{\theta}{\sqrt{n}\sigma}E[X] + \frac{\theta^2}{2n\sigma^2}E[X^2]+ ・・・ \bigg)^3 - ・・・ \end{align} }$

次に $n \log M_X\big(\frac{\theta}{\sqrt{n}\sigma} \big)$ を考えます。

求めた $\log M_X\big(\frac{\theta}{\sqrt{n}\sigma} \big)$ に $n$ を掛けていきます。

$\displaystyle{ \begin{align} n\log M_X\bigg(\frac{\theta}{\sqrt{n}\sigma} \bigg) &= n\bigg \{ \bigg(\frac{\theta}{\sqrt{n}\sigma}E[X] + \frac{\theta^2}{2n\sigma^2}E[X^2]+ ・・・ \bigg) - \frac{1}{2}\bigg(\frac{\theta}{\sqrt{n}\sigma}E[X] + \frac{\theta^2}{2n\sigma^2}E[X^2]+ ・・・ \bigg)^2 + \frac{1}{3}\bigg(\frac{\theta}{\sqrt{n}\sigma}E[X] + \frac{\theta^2}{2n\sigma^2}E[X^2]+ ・・・ \bigg)^3 - ・・・ \bigg\} \\ \end{align} }$

この式の中で考慮するべき値を考えてみましょう。

$n$ を掛けた結果、 $\frac{□}{□n^{△}}$ の形になる値は、最終的に $n→∞$ とすると $0$ に収束するため計算時に考慮する必要がなくなります。

考慮する必要ある値は次の値だけになります。

$\bigg(\frac{\theta}{\sqrt{n}\sigma}E[X] + \frac{\theta^ 2}{2n\sigma^ 2}E[X^ 2]+ ・・・ \bigg)$ 中の、 $\frac{\theta}{\sqrt{n}\sigma}E[X]$ と $\frac{\theta^ 2}{2n\sigma^ 2}E[X^ 2]$ です。

$n$ を掛けると、 $\frac{\sqrt{n}\theta}{\sigma}E[X]$ と $\frac{\theta^ 2}{2\sigma^ 2}E[X^ 2]$ となります。

$\bigg(\frac{\theta}{\sqrt{n}\sigma}E[X] + \frac{\theta^ 2}{2n\sigma^ 2}E[X^ 2]+ ・・・ \bigg)^ 2$ 中の、 $\frac{\theta}{\sqrt{n}\sigma}E[X]$ です。

2乗されているので、 $\frac{\theta^ 2}{n\sigma^ 2}E[X]^ 2$ となり、 $n$ を掛けると $\frac{\theta^ 2}{\sigma^ 2}E[X]^ 2$ となります。

以上をまとめると、 $\log M_Z(\theta)$ は次のようになります。

※ $n→∞$ で0に収束する箇所は「・・・」で省略しています。

$\displaystyle{ \begin{align} \log M_Z(\theta) &= -\frac{\sqrt{n}}{\sigma}\mu \theta + n \log M_X\bigg(\frac{\theta}{\sqrt{n}\sigma}\bigg) \\ &= -\frac{\sqrt{n}}{\sigma}\mu \theta + \frac{\sqrt{n}\theta}{\sigma}E[X] + \frac{\theta^2}{2\sigma^2}E[X^2] - \frac{1}{2}\frac{\theta^2}{\sigma^2}E[X]^2 + ・・・ \end{align} }$

ここで、 $E[X] = \mu$ , $E[X^2] = \mu^2 + \sigma^2$ となるので、次のように表すことができます。

$\displaystyle{ \begin{align} \log M_Z(\theta) &= -\frac{\sqrt{n}}{\sigma}\mu \theta + \frac{\sqrt{n}\theta}{\sigma}E[X] + \frac{\theta^2}{2\sigma^2}E[X^2] - \frac{1}{2}\frac{\theta^2}{\sigma^2}E[X]^2 + ・・・ \\ &= -\frac{\sqrt{n}}{\sigma}\mu \theta + \frac{\sqrt{n}}{\sigma}\mu \theta + \frac{\theta^2}{2\sigma^2}(\mu^2+\sigma^2) - \frac{\theta^2}{2\sigma^2}\mu^2 + ・・・ \\ &= \frac{\theta^2}{2\sigma^2}\mu^2+\frac{\theta^2}{2\sigma^2}\sigma^2 - \frac{\theta^2}{2\sigma^2}\mu^2 + ・・・ \\ &= \frac{\theta^2}{2} + ・・・ \end{align} }$