ガンマ分布期待値と分散の導出 - 機械学習ともろもろ

この記事では定義通りに期待値・分散の導出を解説します。

1. 期待値の導出
2. 分散の導出

ガンマ分布の解説については、次の記事で解説しています。

こちらも合わせて確認してみてください。

venoda.hatenablog.com

モーメント母関数から期待値・分散の導出は次の記事で解説しています。

venoda.hatenablog.com

1. 期待値の導出

形状パラメーター $k$ と尺度パラメーター $\theta$ のガンマ分布 $Ga(k, \theta)$ の確率密度関数は、次のように定義されます。

$\displaystyle{ \begin{align} f(x; k, \theta) = \frac{1}{\Gamma(k)\theta^k}x^{k-1}e^{-\frac{x}{\theta}} \end{align} }$

期待値の定義に従って、ガンマ乗分布の場合の $E[X]$ を設定します。

$\displaystyle{ \begin{align} E[X] &= \int_{0}^{∞} x \ f(x; k, \theta) \ dx \\ \end{align} }$

ガンマ分布の確率密度関数を代入します。

$\displaystyle{ \begin{align} E[X] &= \int_{0}^{∞} x \cdot \frac{1}{\Gamma(k)\theta^k}x^{k-1}e^{-\frac{x}{\theta}} \ dx \end{align} }$

ここで、 $x$ と $x^ {k-1}$ の指数部分をまとめます。

$\displaystyle{ \begin{align} E[X] &= \int_{0}^{∞} \frac{1}{\Gamma(k)\theta^k}x^{(k+1)-1}e^{-\frac{x}{\theta}} \ dx \end{align} }$

ガンマ関数の下記の性質を利用します。

$\displaystyle{ \begin{align} \Gamma(k+1) &= k\Gamma(k) \\ \Gamma(k) &= \frac{1}{k}\Gamma(k+1) \end{align} }$

これを利用すると、期待値は次のようになります。

$\displaystyle{ \begin{align} E[X] &= \int_{0}^{∞} \frac{k}{\Gamma(k+1)\theta^k}x^{(k+1)-1}e^{-\frac{x}{\theta}} \ dx \end{align} }$

次に分子と分母に $\theta$ を掛けます。

$\displaystyle{ \begin{align} E[X] &= \int_{0}^{∞} \frac{k\theta}{\Gamma(k+1)\theta^{k+1}}x^{(k+1)-1}e^{-\frac{x}{\theta}} \ dx \\ &= k \theta \cdot \int_{0}^{∞} \frac{1}{\Gamma(k+1)\theta^{k+1}}x^{(k+1)-1}e^{-\frac{x}{\theta}} \ dx \end{align} }$

積分箇所を考えます。

形状パラメーター $k+1$ と尺度パラメーター $\theta$ のガンマ分布 $Ga(k+1, \theta)$ とみることができます。

ガンマ分布の全区間で積分するため、積分結果は全確率の $1$ となり、次のように表すことができます

$\displaystyle{ \begin{align} E[X] &= k \theta \end{align} }$

このように期待値の定義から期待値を求めることができました。

リンク

2. 分散の導出

分散は次のように求めることができます。

$\displaystyle{ \begin{align} V[X] &= E[X^2] - (E[X])^2\\ \end{align} }$

分散を求めるために、 $E[X^ 2]$ を求めます。

期待値の定義に従って、ガンマ分布の場合の $E[X^ 2]$ を設定します。

$\displaystyle{ \begin{align} E[X^2] &= \int_{0}^{∞} x^2 \ f(x; k, \theta) \ dx \\ \\ \end{align} }$

ガンマ分布の確率密度関数を代入します。

$\displaystyle{ \begin{align} E[X^2] &= \int_{0}^{∞} x^2 \ \cdot \frac{1}{\Gamma(k)\theta^k}x^{k-1}e^{-\frac{x}{\theta}} \ dx \end{align} }$

ここで、 $x^ 2$ と $x^ {k-1}$ の指数部分をまとめます。

$\displaystyle{ \begin{align} E[X^2] &= \int_{0}^{∞} \frac{1}{\Gamma(k)\theta^k}x^{(k+2)-1}e^{-\frac{x}{\theta}} \ dx \end{align} }$

ガンマ関数の下記の性質を利用します。

$\displaystyle{ \begin{align} \Gamma(k+2) &= k(k+1)\Gamma(k) \\ \Gamma(k) &= \frac{1}{k(k+1)}\Gamma(k+2) \end{align} }$

これを利用すると、次のようになります。

$\displaystyle{ \begin{align} E[X^2] &= \int_{0}^{∞} \frac{k(k+1)}{\Gamma(k+2)\theta^k}x^{(k+2)-1}e^{-\frac{x}{\theta}} \ dx \end{align} }$

次に分子と分母に $\theta^ 2$ を掛けます。

$\displaystyle{ \begin{align} E[X^2] &= \int_{0}^{∞} \frac{k(k+1)\theta^2}{\Gamma(k+2)\theta^{k+2}}x^{(k+2)-1}e^{-\frac{x}{\theta}} \ dx \\ &= k(k+1)\theta^2 \cdot \int_{0}^{∞} \frac{1}{\Gamma(k+2)\theta^{k+2}}x^{(k+2)-1}e^{-\frac{x}{\theta}} \ dx \\ \end{align} }$