指数分布の最尤推定量の導出

統計 資格




1. 指数分布の最尤推定について

指数分布 Exp(\lambda)に従う母集団からの実現値を x_1,x_2,...,x_nとすると、 x_1,x_2,...,x_nのそれぞれの確率密度関数は次のように表されます。

\displaystyle{ \begin{align} f(x_i|\lambda) = \lambda e^{-\lambda x}, 　(x \ge 0) \end{align} }


ここで、 x_i は観測されたデータです。


このパラメータ \lambdaを最尤推定法により求めていきます。




2. 尤度関数の設定

観測データ X={x_1,x_2,…,x_n}に対する尤度関数 L(\lambda∣X)は、個々の観測値の確率密度関数の積として定義されます。

\displaystyle{ \begin{align} L(\lambda|X) &= \prod_{i=1}^{n} f(x_i|\lambda) \\ &= f(x_1|\lambda)・f(x_2|\lambda)\cdots f(x_n|\lambda) \\ &= \lambda e^{-\lambda x_1} \cdot \lambda e^{-\lambda x_2} \cdots \lambda e^{-\lambda x_n} \\ &= \lambda^n e^{-\lambda(x_1 + x_2 + \cdots + x_n)} \\ &= \lambda^n e^{-\lambda\sum_{i=1}^{n} x_i} \\ \end{align} }




3. 対数尤度関数

計算を簡単にするために、尤度関数の自然対数を取ります。

\displaystyle{ \begin{align} l(\lambda | X) &= \log L(\lambda|X) \\ &= \log \left\{ \lambda^n e^{-\lambda\sum_{i=1}^{n} x_i} \right\} \\ &= n \log \lambda - \lambda \sum_{i=1}^{n} x_i \end{align} }




4. 尤度方程式

\lambdaに関して対数尤度関数を最大化することで、これらのパラメータの最尤推定量を求めます。


対数尤度関数を \lambdaについて、偏微分します。

\displaystyle{ \begin{align} \frac{\partial}{\partial\lambda}l(\lambda|X) &= \left( n \log \lambda - \lambda \sum_{i=1}^{n} x_i \right)' \\ &= \frac{n}{\lambda} - \sum_{i=1}^{n} x_i \end{align} }


偏微分した式を 0とおいて、 \lambda​について解きます。

ここで \lambdaの最尤推定量は \tilde{\lambda}と定義します。

\displaystyle{ \begin{align} \frac{\partial}{\partial\lambda}l(\lambda|X) &= 0 \\ \frac{n}{\tilde{\lambda}} - \sum_{i=1}^{n} x_i &= 0 \\ \frac{n}{\tilde{\lambda}} &= \sum_{i=1}^{n} x_i \\ \tilde{\lambda} &= \frac{n}{\sum_{i=1}^{n} x_i}\\ \end{align} }


以上より、 \lambdaの最尤推定量 \tilde{\lambda}は次のように求めることができました。

\displaystyle{ \tilde{\lambda} = \frac{n}{\sum_{i=1}^{n} x_i} }