多変量正規分布モーメント母関数を使用した期待値と分散の導出

この記事ではモーメント母関数の導出および期待値・分散の導出を解説します。

多変量正規分布の解説については、次の記事で解説しています。

こちらも合わせて確認してみてください。

venoda.hatenablog.com

1. モーメント母関数の導出
2. 期待値の導出
3. 分散の導出

1. モーメント母関数の導出

多変量正規分布の確率密度関数は、次のように定義されます。

$\displaystyle{ f(x_1,...,x_n|\mu, \Sigma) = \frac{1}{\sqrt{(2 \pi)^n |\Sigma|}} \exp \left( -\frac{1}{2}(\boldsymbol{x} - \boldsymbol{\mu})^T \Sigma^{-1}(\boldsymbol{x}-\boldsymbol{\mu}) \right) }$

モーメント母関数の定義に従って、多変量正規布の場合の $M_X(t)$ を設定します。

$\displaystyle{ \begin{align} M_X(t) &= E[\exp({\boldsymbol{t}^TX})] \\ &= \int \cdots \int \exp({\boldsymbol{t}^T \boldsymbol{x}}) f(x_1,...,x_n|\mu,\Sigma) dx_1 \cdots dx_n\\ \end{align} }$

多変量正規分布の確率質量関数を代入します。

$\displaystyle{ \begin{align} M_X(t) &= \int \cdots \int \exp({\boldsymbol{t}^T \boldsymbol{x}}) \frac{1}{\sqrt{(2 \pi)^n |\Sigma|}} \exp \left( -\frac{1}{2}(\boldsymbol{x} - \boldsymbol{\mu})^T \Sigma^{-1}(\boldsymbol{x}-\boldsymbol{\mu}) \right) dx_1 \cdots dx_n \end{align} }$

指数関数部分を結合します。

ここで指数関数部分の $(\boldsymbol{x} - \boldsymbol{\mu})^ T \Sigma^ {-1}(\boldsymbol{x}-\boldsymbol{\mu})$ の箇所を考えます。

$\displaystyle{ \begin{align} (\boldsymbol{x} - \boldsymbol{\mu})^T \Sigma^{-1}(\boldsymbol{x}-\boldsymbol{\mu}) &= (\boldsymbol{x}^T - \boldsymbol{\mu}^T) \Sigma^{-1}(\boldsymbol{x}-\boldsymbol{\mu}) \\ &= \boldsymbol{x}^T\Sigma^{-1}\boldsymbol{x} - \boldsymbol{\mu}^T\Sigma^{-1}\boldsymbol{x} - \boldsymbol{x}^T\Sigma^{-1}\boldsymbol{\mu} + \boldsymbol{\mu}^T\Sigma^{-1}\boldsymbol{\mu} \\ &= \boldsymbol{x}^T\Sigma^{-1}\boldsymbol{x} - \boldsymbol{x}^T\Sigma^{-1}\boldsymbol{\mu} - \boldsymbol{x}^T\Sigma^{-1}\boldsymbol{\mu} + \boldsymbol{\mu}^T\Sigma^{-1}\boldsymbol{\mu} \\ &= \boldsymbol{x}^T\Sigma^{-1}\boldsymbol{x} - 2 \boldsymbol{\mu}^T\Sigma^{-1}\boldsymbol{x} + \boldsymbol{\mu}^T\Sigma^{-1}\boldsymbol{\mu} \end{align} }$

$\boldsymbol{\mu}^ T\Sigma^ {-1}\boldsymbol{x}$ と $\boldsymbol{x}^ T\Sigma^ {-1}\boldsymbol{\mu}$ はスカラーとなるため、次の関係が成り立つことを利用しています。

$\displaystyle{ \begin{align} \boldsymbol{x}^T\Sigma^{-1}\boldsymbol{\mu} &= (\boldsymbol{x}^T\Sigma^{-1}\boldsymbol{\mu})^T \\ &= \boldsymbol{\mu}^T(\Sigma^{-1})^T\boldsymbol{x} \\ &= \boldsymbol{\mu}^T\Sigma^{-1}\boldsymbol{x} \\ \end{align} }$

これを用いて、式を整理すると次のようになります。

$\displaystyle{ \begin{align} \boldsymbol{t}^T \boldsymbol{x} -\frac{1}{2} (\boldsymbol{x}- \boldsymbol{\mu})^T \Sigma^{-1} (\boldsymbol{x}-\boldsymbol{\mu}) &= \boldsymbol{t}^T \boldsymbol{x} -\frac{1}{2}\left( \boldsymbol{x}^T\Sigma^{-1}\boldsymbol{x} - 2 \boldsymbol{\mu}^T\Sigma^{-1}\boldsymbol{x} + \boldsymbol{\mu}^T\Sigma^{-1}\boldsymbol{\mu} \right) \\ &= - \frac{1}{2} \left( \boldsymbol{x}^T\Sigma^{-1}\boldsymbol{x} - 2 \boldsymbol{\mu}^T\Sigma^{-1}\boldsymbol{x} - 2 \boldsymbol{t}^T\boldsymbol{x} + \boldsymbol{\mu}^T\Sigma^{-1}\boldsymbol{\mu} \right) \\ &= - \frac{1}{2} \left( \boldsymbol{x}^T\Sigma^{-1}\boldsymbol{x} - 2 \left( \boldsymbol{\mu}^T \Sigma^{-1/2} + \boldsymbol{t}^T \Sigma^{1/2} \right) \Sigma^{-1/2} \boldsymbol{x} + \boldsymbol{\mu}^T\Sigma^{-1}\boldsymbol{\mu} \right) \\ &= - \frac{1}{2} \left( \Sigma^{-1/2} \boldsymbol{x} - \left( \Sigma^{-1/2} \boldsymbol{\mu} + \Sigma^{1/2}\boldsymbol{t} \right) \right)^T \left( \Sigma^{-1/2} \boldsymbol{x} - \left( \Sigma^{-1/2} \boldsymbol{\mu} + \Sigma^{1/2}\boldsymbol{t} \right) \right) + \boldsymbol{\mu}^T \boldsymbol{t} + \frac{1}{2}\boldsymbol{t}^T\Sigma \boldsymbol{t} \\ &= - \frac{1}{2} \left( \boldsymbol{x} - \left( \boldsymbol{\mu} + \Sigma\boldsymbol{t} \right) \right)^T \Sigma^{-1} \left( \boldsymbol{x} - \left( \boldsymbol{\mu} + \Sigma\boldsymbol{t} \right) \right) + \boldsymbol{\mu}^T \boldsymbol{t} + \frac{1}{2}\boldsymbol{t}^T\Sigma \boldsymbol{t} \end{align} }$

以上をまとめると、次のようになります。

$\displaystyle{ \begin{align} M_X(t) &= \int \cdots \int \frac{1}{\sqrt{(2 \pi)^n |\Sigma|}} \exp \left( \boldsymbol{t}^T \boldsymbol{x} -\frac{1}{2}(\boldsymbol{x} - \boldsymbol{\mu})^T \Sigma^{-1}(\boldsymbol{x}-\boldsymbol{\mu}) \right) dx_1 \cdots dx_n \\ &= \exp \left( \boldsymbol{\mu}^T \boldsymbol{t} + \frac{1}{2}\boldsymbol{t}^T\Sigma \boldsymbol{t} \right) \int \cdots \int \frac{1}{\sqrt{(2 \pi)^n |\Sigma|}} \exp \left( - \frac{1}{2} \left( \boldsymbol{x} - \left( \boldsymbol{\mu} + \Sigma\boldsymbol{t} \right) \right)^T \Sigma^{-1} \left( \boldsymbol{x} - \left( \boldsymbol{\mu} + \Sigma\boldsymbol{t} \right) \right) \right) dx_1 \cdots dx_n\\ \end{align} }$

積分の中身を見てみると、平均 $\mu + \Sigma\boldsymbol{t}$ ,分散 $\Sigma$ に従う多変量正規分布となるので、積分した結果は $1$ になります。

よって、多変量正規分布のモーメント母関数は次のようになります。

$\displaystyle{ \begin{align} M_X(t) &= \exp \left( \boldsymbol{\mu}^T \boldsymbol{t} + \frac{1}{2}\boldsymbol{t}^T\Sigma \boldsymbol{t} \right) \end{align} }$

リンク

2. 期待値の導出

期待値はモーメント母関数の一階微分 $M_X'(t)$ に $t=0$ を代入することで得られます。

$\displaystyle{ E[X] = M_X'(0) }$

先ほど求めた多変量正規分布のモーメント母関数を使用して、多変量正規分布の期待値を求めてみます。

$\displaystyle{ \begin{align} M_X'(t) &= \frac{\partial}{\partial \boldsymbol{t}} \exp \left( \boldsymbol{\mu}^T \boldsymbol{t} + \frac{1}{2}\boldsymbol{t}^T\Sigma \boldsymbol{t} \right) \\ &= \exp \left( \boldsymbol{\mu}^T \boldsymbol{t} + \frac{1}{2}\boldsymbol{t}^T\Sigma \boldsymbol{t} \right) \frac{\partial}{\partial \boldsymbol{t}} \left( \boldsymbol{\mu}^T \boldsymbol{t} + \frac{1}{2}\boldsymbol{t}^T\Sigma \boldsymbol{t} \right) \\ &= \exp \left( \boldsymbol{\mu}^T \boldsymbol{t} + \frac{1}{2}\boldsymbol{t}^T\Sigma \boldsymbol{t} \right) \left( \boldsymbol{\mu} + \frac{1}{2}(\Sigma + \Sigma^T)\boldsymbol{t} \right) \\ &= \exp \left( \boldsymbol{\mu}^T \boldsymbol{t} + \frac{1}{2}\boldsymbol{t}^T\Sigma \boldsymbol{t} \right) \left( \boldsymbol{\mu} + \Sigma \boldsymbol{t} \right) \end{align} }$

$t=0$ を代入すると次のように求めることができます。

$\displaystyle{ \begin{align} M_X'(0) &= \boldsymbol{\mu}\\ \end{align} }$

$M_X'(0)=E[X]$ となるため、このようにモーメント母関数から期待値を求めることができました。

リンク

3. 分散の導出

分散はモーメント母関数の二階微分 $M_X''(t)$ に $t=0$ を代入した値を使用して、次のように求めることができます。

$\displaystyle{ \begin{align} V[X] &= E[X^2] - (E[X])^2\\ &= M_X''(0) - M_X'(0)^2 \end{align} }$

先ほど求めた多変量正規分布のモーメント母関数と期待値を使用して、多変量正規分布の分散を求めてみます。

$\displaystyle{ \begin{align} M_X''(t) &= \frac{\partial^2}{\partial\boldsymbol{t}^2} \exp \left( \boldsymbol{\mu}^T \boldsymbol{t} + \frac{1}{2}\boldsymbol{t}^T\Sigma \boldsymbol{t} \right) \\ &= (\Sigma + (\mu + \Sigma \boldsymbol{t}) (\mu^T + \boldsymbol{t}^T\Sigma)) \exp \left( \boldsymbol{\mu}^T \boldsymbol{t} + \frac{1}{2}\boldsymbol{t}^T \Sigma \boldsymbol{t} \right) \end{align} }$

$t=0$ を代入すると次のように求めることができます。

$\displaystyle{ \begin{align} M_X''(0) &= \Sigma + \boldsymbol{\mu}\boldsymbol{\mu}^T \end{align} }$

これを利用して分散の公式にあてはめます。

$\displaystyle{ \begin{align} V[X] &= M_X''(0) - M_X'(0)^2 \\ &= \Sigma + \boldsymbol{\mu}\boldsymbol{\mu}^T - \boldsymbol{\mu}\boldsymbol{\mu}^T \\ &= \Sigma \end{align} }$

このようにしてモーメント母関数から分散を求めることができました。

リンク