正規分布の最尤推定量の導出

統計 資格




1. 正規分布の最尤推定について

正規分布 N(\mu, \sigma^2)に従う母集団からの実現値を x_1,x_2,...,x_nとすると、 x_1,x_2,...,x_nのそれぞれの確率密度関数は次のように表されます。

\displaystyle{ \begin{align} f(x_i|\mu, \sigma^2) = \frac{1}{\sqrt{2\pi\sigma^2}} \exp\left(-\frac{(x_i-\mu)^2}{2\sigma^2}\right) \end{align} }


ここで、 x_i は観測されたデータ、 \muは平均、 \sigma^2は分散です。


このパラメータ \muと \sigma^2を最尤推定法により求めていきます。




2. 尤度関数の設定

観測データ X={x_1,x_2,…,x_n}に対する尤度関数 L(\mu, \sigma^2∣X)は、個々の観測値の確率密度関数の積として定義されます。

\displaystyle{ \begin{align} L(\mu, \sigma^2|X) &= \prod_{i=1}^{n} f(x_i|\mu, \sigma^2) \\ &= f(x_1|\mu, \sigma^2)・f(x_2|\mu, \sigma^2)\cdots f(x_n|\mu, \sigma^2) \\ &= \frac{1}{\sqrt{2\pi\sigma^2}} \exp\left(-\frac{(x_1-\mu)^2}{2\sigma^2}\right)\cdot \frac{1}{\sqrt{2\pi\sigma^2}} \exp\left(-\frac{(x_2-\mu)^2}{2\sigma^2}\right)\cdots \frac{1}{\sqrt{2\pi\sigma^2}} \exp\left(-\frac{(x_n-\mu)^2}{2\sigma^2}\right) \\ &= \left( \frac{1}{\sqrt{2\pi\sigma^2}} \right)^n \exp\left(-\frac{(x_1-\mu)^2}{2\sigma^2}\right)\cdot \exp\left(-\frac{(x_2-\mu)^2}{2\sigma^2}\right)\cdots \exp\left(-\frac{(x_n-\mu)^2}{2\sigma^2}\right) \\ &= \left( \frac{1}{\sqrt{2\pi\sigma^2}} \right)^n \exp\left(-\left(\frac{(x_1-\mu)^2}{2\sigma^2} + \frac{(x_2-\mu)^2}{2\sigma^2} + \cdots + \frac{(x_n-\mu)^2}{2\sigma^2} \right)\right) \\ &= \left( \frac{1}{\sqrt{2\pi\sigma^2}} \right)^n \exp\left(- \sum_{i=1}^{n}\frac{(x_i - \mu)^2}{2\sigma^2} \right) \\ &= \left({2\pi\sigma^2} \right)^{-\frac{n}{2}} \exp\left(- \frac{1}{2\sigma^2} \sum_{i=1}^{n} (x_i - \mu)^2 \right) \\ \end{align} }




3. 対数尤度関数

計算を簡単にするために、尤度関数の自然対数を取ります。

\displaystyle{ \begin{align} l(\mu, \sigma^2 | X) &= \log L(\mu, \sigma^2|X) \\ &= \log \left\{ \left({2\pi\sigma^2} \right)^{-\frac{n}{2}} \exp\left(- \frac{1}{2\sigma^2} \sum_{i=1}^{n} (x_i - \mu)^2 \right) \right\} \\ &= -\frac{n}{2} \log 2\pi\sigma^2 - \frac{1}{2\sigma^2} \sum_{i=1}^{n} \left(x_i - \mu\right)^2 \end{align} }




4. 尤度方程式

\muと \sigma^2に関して対数尤度関数を最大化することで、これらのパラメータの最尤推定量を求めます。


対数尤度関数を \muについて、偏微分します。

\displaystyle{ \begin{align} \frac{\partial}{\partial\mu}l(\mu, \sigma^2|X) &= \left( -\frac{n}{2} \log 2\pi\sigma^2 - \frac{1}{2\sigma^2} \sum_{i=1}^{n} \left(x_i - \mu\right)^2 \right)' \\ &= \frac{1}{\sigma^2} \sum_{i=1}^{n}(x_i - \mu) \end{align} }


偏微分した式を 0とおいて、 \mu​について解きます。

ここで \muの最尤推定量は \tilde{\mu}と定義します。

\displaystyle{ \begin{align} \frac{\partial}{\partial\mu}l(\mu, \sigma^2|X) &= 0 \\ \frac{1}{\sigma^2} \sum_{i=1}^{n}(x_i - \tilde{\mu}) &= 0 \\ \sum_{i=1}^{n}(x_i - \tilde{\mu}) &= 0 \\ \sum_{i=1}^{n}x_i - n\tilde{\mu} &= 0 \\ n\tilde{\mu} &= \sum_{i=1}^{n}x_i \\ \tilde{\mu} &= \frac{1}{n}\sum_{i=1}^{n}x_i \\ \end{align} }


以上より、 \muの最尤推定量 \tilde{\mu}は次のように求めることができました。

\displaystyle{ \tilde{\mu} = \frac{1}{n}\sum_{i=1}^{n}x_i }



次に \sigma^2について、解いていきます。

対数尤度関数を \sigma^2について、偏微分します。

\displaystyle{ \begin{align} \frac{\partial}{\partial \sigma^2}l(\mu, \sigma^2|X) &= \left( -\frac{n}{2} \log 2\pi\sigma^2 - \frac{1}{2\sigma^2} \sum_{i=1}^{n} \left(x_i - \mu\right)^2 \right)' \\ &= - \frac{n}{2}\cdot\frac{2\pi}{2\pi\sigma^2} + \frac{1}{2(\sigma^2)^2} \sum_{i=1}^{n} \left(x_i - \mu\right)^2 \\ &= - \frac{n}{2\sigma^2} + \frac{1}{2(\sigma^2)^2} \sum_{i=1}^{n} \left(x_i - \mu\right)^2 \\ \end{align} }


偏微分した式を 0とおいて、 \sigma^2​について解きます。

ここで \sigma^2の最尤推定量は \tilde{\sigma}^2と定義します。

\displaystyle{ \begin{align} \frac{\partial}{\partial \sigma^2}l(\mu, \sigma^2|X) &= 0\\ - \frac{n}{2\tilde{\sigma}^2} + \frac{1}{2(\tilde{\sigma}^2)^2} \sum_{i=1}^{n} \left(x_i - \tilde{\mu}\right)^2 &= 0 \\ \frac{1}{2(\tilde{\sigma}^2)^2} \sum_{i=1}^{n} \left(x_i - \tilde{\mu}\right)^2 &= \frac{n}{2\tilde{\sigma}^2} \\ \tilde{\sigma}^2 &= \frac{1}{n}\sum_{i=1}^{n} \left(x_i - \tilde{\mu}\right)^2 \end{align} }


以上より、 \sigma^2の最尤推定量 \tilde{\sigma}^2は次のように求めることができました。

\displaystyle{ \begin{align} \tilde{\sigma} &= \frac{1}{n}\sum_{i=1}^{n} \left(x_i - \tilde{\mu}\right)^2 \end{align} }