多変量正規分布の性質（期待値・分散・モーメント母関数・線形変換・独立と無相関・条件付き分布）

統計 資格




1. 多変量正規分布とは

多変量正規分布は、複数の連続確率変数がある特定の方法で関連している場合の確率分布です。

この分布は、2変量や3変量の場合だけでなく、任意の n変量に対して定義することができます。

各変数は正規分布に従いますが、変数間には相関が存在する場合があります。


多変量正規分布は、 n次元のベクトル Xが、平均ベクトル \muと共分散行列 \Sigmaを持つときに、以下の確率密度関数で定義されます。

\displaystyle{ \begin{align} f(x_1,...,x_n|\mu, \Sigma) = \frac{1}{\sqrt{(2 \pi)^n |\Sigma|}} \exp \left( -\frac{1}{2}(\boldsymbol{x} - \boldsymbol{\mu})^T \Sigma^{-1}(\boldsymbol{x}-\boldsymbol{\mu}) \right) \end{align} }


説明の都合上、2変量正規分布を用いて解説します。

各変数は次のように定義されます。

\displaystyle{ \begin{align} \mu &= \begin{pmatrix} \mu_1 \\ \mu_2 \end{pmatrix} \\ \Sigma &= \begin{pmatrix} \sigma_1^2 & \sigma_{12}(=\rho\sigma_1\sigma_2) \\ \sigma_{12}(=\rho\sigma_1\sigma_2) & \sigma_2^2 \end{pmatrix} \\ |\Sigma| &= \sigma_1^2\sigma_2^2(1-\rho^2) \\ \Sigma^{-1} &= \frac{1}{\sigma_1^2\sigma_2^2(1-\rho^2)} \begin{pmatrix} \sigma_2^2 & -\rho\sigma_1\sigma_2 \\ -\rho\sigma_1\sigma_2 & \sigma_1^2 \end{pmatrix} \end{align} }


これを用いてると、2変量正規分布の確率密度関数は次のように定義されます。

\displaystyle{ \begin{align} f(x_1,x_2|\mu, \Sigma) &= \frac{1}{2} \frac{1}{\sqrt{1-\rho^2}\sigma_1\sigma_2} \exp\left( -\frac{1}{2(1-\rho^2)} \left[ \left(\frac{x_1 - \mu_1}{\sigma_1}\right)^2 - 2 \rho \frac{x_1 - \mu_1}{\sigma_1} \frac{x_2 - \mu_2}{\sigma_2} + \left(\frac{x_2 - \mu_2}{\sigma_2}\right)^2 \right] \right) \end{align} }





2. モーメント母関数

多変量正規分布のモーメント母関数は次のようになります。

\displaystyle{ \begin{align} M_X(t) = \exp\left(\mu^T t + \frac{1}{2}t^T\Sigma t\right) \end{align} }


詳細な導出は次の記事で解説しています。

加えて、モーメント母関数から期待値と分散の導出も解説しています。

venoda.hatenablog.com




3. 線形変換

\boldsymbol{X}が多変量正規分布 N(\boldsymbol{\mu}, \Sigma)に従うとき、 \boldsymbol{X}の線形変換 \boldsymbol{Y} = A \boldsymbol{X} + b​もまた多変量正規分布に従います。

具体的には、平均 A\boldsymbol{\mu} + b, 分散 A \Sigma A^ Tの多変量正規分布に従います。

\displaystyle{ Y \sim N \left( A \mu + b, A \Sigma A^T \right) }


この性質は、多変量正規分布が線形変換に対して不変であることを意味します。

すなわち、線形変換を施しても分布の形は保持され、パラメータだけが変化します。


実際に、線形変換後の分布がどうなるかを確認したいと思います。


まず最初に \boldsymbol{Y}のモーメント母関数を求めます。

\displaystyle{ \begin{align} M_Y(t) &= E\left[ e^{t^T Y} \right] \\ &= E\left[ e^{t^T (A X + b)} \right] \\ &= E\left[ e^{(A^T t)^T X} \right] \cdot E\left[ e^{t^T b} \right] \\ &= M_X(A^T t) \cdot \exp(t^T b) \\ \end{align} }


ここで、 \boldsymbol{X}が多変量正規分布に従う場合は、 M_X(t) = \exp\left(\mu^ T t + \frac{1}{2}t^ T\Sigma t\right)となるので、次のように表すことができます。

\displaystyle{ \begin{align} M_Y(t) &= M_X(A^T t) \cdot \exp(t^T b) \\ &= \exp\left(\mu^T A^T t + \frac{1}{2}(A^T t)^T\Sigma (A^T t)\right) \cdot \exp \left(t^T b\right) \\ &= \exp\left( t^T A \mu + t^T b + \frac{1}{2}t^T A \Sigma A^T t \right) \\ &= \exp\left( t^T (A \mu + b) + \frac{1}{2}t^T (A \Sigma A^T) t \right) \\ &= \exp\left( (A \mu + b)^T t + \frac{1}{2}t^T (A \Sigma A^T) t \right) \\ \end{align} }


これは、平均が A \mu + bで共分散行列が A \Sigma A^ Tの多変量正規分布のモーメント母関数の形となります。

したがって、線形変換 \boldsymbol{Y} = A\boldsymbol{X}+bを適用した後の分布もまた多変量正規分布であることが証明されます。




4. 独立と無相関

多変量正規分布は、複数の連続変数が従う確率分布で、変数間には一般に相関が存在します。

しかし、これらの変数が互いに無相関である場合、共分散行列は特別な形をとります。


多変量正規分布の共分散行列 \Sigmaは、分布に含まれる変数間の相関関係を示します。

変数が無相関である場合、共分散行列は対角行列になります。

つまり、行列の対角要素以外のすべての要素（非対角要素）は 0です。

対角要素は次のように各変数の分散を表します。

\displaystyle{ \begin{align} \Sigma = \begin{pmatrix} \sigma_1^2 & 0 & \cdots & 0 \\ 0 & \sigma_2^2 & \cdots & 0 \\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \cdots & \sigma_n^2 \end{pmatrix} \end{align} }


無相関とは、変数間の線形関係の欠如を示しますが、多変量正規分布において変数が無相関であれば、それらは独立であるとも言えます。

これは多変量正規分布の特性の一つで、一般に無相関が独立性を意味するわけではありませんが、多変量正規分布においてはこの関係が成立します。


変数が独立となるため、確率密度関数は積の形に表すことができます。

\displaystyle{ \begin{align} f(x_1,...,x_n|\mu, \Sigma) &= \frac{1}{\sqrt{(2 \pi)^n |\Sigma|}} \exp \left( -\frac{1}{2}(\boldsymbol{x} - \boldsymbol{\mu})^T \Sigma^{-1} (\boldsymbol{x}-\boldsymbol{\mu}) \right) \\ &= \frac{1}{\sqrt{(2 \pi)^n \sigma_1^2\cdots\sigma_n^2}} \exp \left( - \frac{1}{2} \sum_{i=1}^{n}\frac{(x_i - \mu_i)^2}{\sigma^2_i} \right) \\ &= \prod_{i=1}^{n} \frac{1}{\sqrt{2 \pi \sigma_i^2}} \exp \left( - \frac{(x_i - \mu_i)^2}{2\sigma^2_i} \right) \\ &= f_1(x_1)\cdots f_n(x_n) \end{align} }




5. 条件付き分布

多変量正規分布は、条件付き分布も正規分布であるという性質を持ちます。


n次元の多変量正規分布から、 k次元の部分ベクトル \boldsymbol{X}と n−k次元の部分ベクトル \boldsymbol{Y}を考えると、全体の分布は次のようになります。

\displaystyle{ \begin{align} \begin{pmatrix} X \\ Y \end{pmatrix} \sim N \left( \begin{pmatrix} \mu_X \\ \mu_Y \end{pmatrix}, \begin{pmatrix} \Sigma_{XX} & \Sigma_{XY} \\ \Sigma_{YX} & \Sigma_{YY} \end{pmatrix} \right) \end{align} }


  • \mu _ Xと \mu _ Yはそれぞれ \boldsymbol{X}と \boldsymbol{Y}の平均ベクトルです。
  • \Sigma _ {XX}と \Sigma _ {YY}はそれぞれ \boldsymbol{X}と \boldsymbol{Y}の分散共分散行列です。
  • \Sigma _ {XY}と \Sigma _ {YX}は \boldsymbol{X}と \boldsymbol{Y}間の共分散を示します。


\boldsymbol{X}=\boldsymbol{x}が与えられたときの Yの条件付き分布は、次の正規分布に従います。

\displaystyle{ Y|X=x \sim N\left( \mu_{Y|X}, \Sigma_{Y|X} \right) }


ここで \mu _ {Y|X}と \Sigma _ {Y|X}は次にように表されます。

\displaystyle{ \begin{align} \mu_{Y|X} &= \mu_Y + \Sigma_{YX}\Sigma^{-1}_{XX}(x - \mu_X) \\ \Sigma_{Y|X} &= \Sigma_{YY} - \Sigma_{YX}\Sigma^{-1}_{XX}\Sigma_{XY} \end{align} }


※条件付き分布を求めるのは計算が手間なので、統計検定1級の試験対策としては、この式を覚えておくことをお勧めします。