モーメント母関数の導出と性質 - 機械学習ともろもろ

モーメント母関数は、確率分布の性質を表すために使用される重要な関数です。

この関数は、確率変数のモーメント（平均、分散、歪度、尖度など）を簡単に導出するために利用されます。

モーメント母関数を求めて、期待値と分散を求めるのは統計検定1級では頻出事項になります。

1. モーメント母関数の定義
2. モーメント母関数の使いどころ
3. モーメント母関数の導出
4. 期待値の導出
5. 分散の導出
6. 歪度の導出
7. 尖度の導出

1. モーメント母関数の定義

確率変数 $X$ のモーメント母関数 $M_X(t)$ は、以下のように定義されます。

$\displaystyle{ M_X(t) = E[e^{tX}] }$

ここで、 $E[⋅]$ は期待値を意味し、 $t$ は実数です。

リンク

2. モーメント母関数の使いどころ

モーメント母関数は、確率変数の全てのモーメントを生成する関数です。

モーメント母関数の $n$ 階微分を $t=0$ で評価することにより、確率変数の $n$ 次モーメントを求めることができます。

この特性は、分布の特徴を理解する上で非常に有用です。

例えば、分布の形状（歪みや尖り）を評価する際に、歪度や尖度などの高次モーメントを計算する必要がありますが、モーメント母関数を用いることでこれらの計算を容易に行うことができます。

※モーメントという言葉は気にせずに、モーメント母関数を微分して $t=0$ とすると、確率分布の平均や分散を簡単に求めることができる便利な関数という認識を持てればよいと思います。

リンク

3. モーメント母関数の導出

実際に正規分布を例にモーメント母関数を導出します。

正規分布の確率密度関数は、平均 $\mu$ と分散 $\sigma^2$ をパラメータとして次のように定義されます。

$\displaystyle{ \begin{align} f(x) = \frac{1}{\sqrt{2\pi\sigma^2}}\exp \left( {-\frac{(x-\mu)^2}{2\sigma^2}} \right) \end{align} }$

モーメント母関数の定義に従って、正規分布の場合の $M_X(t)$ を設定します。

$\displaystyle{ \begin{align} M_X(t) &= E[e^{tX}] \\ &= \int_{-∞}^{∞} e^{tx} f(x) \\ \end{align} }$

正規分布の確率密度関数を代入します。

$\displaystyle{ \begin{align} M_X(t) &= \int_{-∞}^{∞} e^{tx} \frac{1}{\sqrt{2\pi\sigma^2}}\exp \left( {-\frac{(x-\mu)^2}{2\sigma^2}} \right) \end{align} }$

指数関数の和の法則を用いて、指数部分をまとめます。

$\displaystyle{ \begin{align} M(t) &= \int_{-∞}^{∞}\frac{1}{\sqrt{2\pi\sigma^2}}\exp \left({-\frac{(x-\mu)^2}{2\sigma^2}} + tx \right) dx \end{align} }$

指数関数の項を平方完成し、積分可能な形に変換します。

$\displaystyle{ \begin{align} M(t) &= \int_{-∞}^{∞}\frac{1}{\sqrt{2\pi\sigma^2}}\exp \left( -\frac{1}{2\sigma^2} (x^2 -2\mu x + \mu^2 -2\sigma^2tx) \right) dx \\ &= \int_{-∞}^{∞}\frac{1}{\sqrt{2\pi\sigma^2}}\exp \left( -\frac{1}{2\sigma^2} \left(x^2 -2x(\mu + \sigma^2 t) + \mu^2 \right) \right) dx \\ &= \int_{-∞}^{∞}\frac{1}{\sqrt{2\pi\sigma^2}}\exp\left( -\frac{1}{2\sigma^2} \left( (x - (\mu + \sigma^2 t))^2 - (\mu + \sigma^2 t)^2 + \mu^2 ) \right) \right) dx \\ &= \int_{-∞}^{∞}\frac{1}{\sqrt{2\pi\sigma^2}}\exp\left( -\frac{1}{2\sigma^2} \left( (x - (\mu + \sigma^2 t))^2 - \mu^2 - 2\sigma^2 \mu t - \sigma^4 t^2 + \mu^2 ) \right) \right) dx \\ &= \int_{-∞}^{∞}\frac{1}{\sqrt{2\pi\sigma^2}}\exp\left( -\frac{1}{2\sigma^2} \left( (x - (\mu + \sigma^2 t))^2 - 2\sigma^2 \mu t - \sigma^4 t^2) \right) \right) dx \\ &= \int_{-∞}^{∞} \frac{1}{\sqrt{2\pi\sigma^2}}\exp\left( -\frac{(x - (\mu+\sigma^2t))^2}{2\sigma^2} + \mu t + \frac{\sigma^2t^2}{2} \right) dx \\ &= \exp\left(\mu t + \frac{\sigma^2t^2}{2}\right) \int_{-∞}^{∞} \frac{1}{\sqrt{2\pi\sigma^2}} \exp\left( -\frac{(x - (\mu+\sigma^2t))^2}{2\sigma^2} \right) dx \end{align} }$

ここで、 $\mu+\sigma^ 2t=\mu'$ とおくと、下式のようになる。

$\displaystyle{ \begin{align} M(t) &= \exp\left(\mu t + \frac{\sigma^2t^2}{2}\right) \int_{-∞}^{∞} \frac{1}{\sqrt{2\pi\sigma^2}} \exp \Big( -\frac{(x - \mu')}{2\sigma^2} \Big) dx \end{align} }$

ここで $\int _ {-∞}^ {∞}〇〇$ の中だけをみると、平均 $\mu'$ と分散 $\sigma^ 2$ の正規分布の確率密度関数となります。

正規分布の確率密度関数となるので、確率変数の総和は下式のように $1$ になります。

$\displaystyle{ \begin{align} \int_{-∞}^{∞} \frac{1}{\sqrt{2\pi\sigma^2}} \exp \left( \frac{(x - \mu')^2}{2\sigma^2} \right) dx = 1 \end{align} }$

これを用いると、モーメント母関数が最終的に次のように導出されます。

$\displaystyle{ \begin{align} M(t) &= \exp\left(\mu t + \frac{\sigma^2t^2}{2}\right) \int_{-∞}^{∞} \frac{1}{\sqrt{2\pi\sigma^2}} \exp \left( -\frac{(x - \mu')}{2\sigma^2} \right) dx\\ &= \exp\left(\mu t + \frac{\sigma^2t^2}{2}\right)・1\\ &= \exp\left(\mu t + \frac{\sigma^2t^2}{2}\right) \end{align} }$

以上が正規分布のモーメント母関数の導出になります。

リンク

4. 期待値の導出

期待値はモーメント母関数の一階微分 $M'(t)$ に $t=0$ を代入することで得られます。

$\displaystyle{ E[X] = M'(0) }$

先ほど求めた正規分布のモーメント母関数を使用して、正規分布の期待値を求めてみます。

$\displaystyle{ \begin{align} M'(t) &= \frac{d}{dt} \exp\left(\mu t + \frac{\sigma^2t^2}{2}\right)\\ &= (\mu + \sigma^2t)\exp\left(\mu t + \frac{\sigma^2t^2}{2}\right)\\ \end{align} }$

$t=0$ を代入すると次のように求めることができます。

$\displaystyle{ \begin{align} M'(0) &= (\mu + \sigma^2・0)\exp\left(\mu・0 + \frac{\sigma^2・0}{2}\right)\\ &= \mu \end{align} }$

$M'(0)=E[X]$ となるため、このようにモーメント母関数から期待値を求めることができました。

リンク

5. 分散の導出

分散はモーメント母関数の二階微分 $M''(t)$ に $t=0$ を代入した値を使用して、次のように求めることができます。

$\displaystyle{ \begin{align} V[X] &= E[X^2] - (E[X])^2\\ &= M''(0) - (M'(0))^2 \end{align} }$

先ほど求めた正規分布のモーメント母関数と期待値値を使用して、正規分布の期待値を求めてみます。

$\displaystyle{ \begin{align} M''(t) &= \frac{d^2}{dt^2} \exp\left(\mu t + \frac{\sigma^2t^2}{2}\right)\\ &= (\sigma^2+(\mu+\sigma^2t)^2)\exp\left(\mu t + \frac{\sigma^2t^2}{2}\right)\\ \end{align} }$

$t=0$ を代入すると次のように求めることができます。

$\displaystyle{ \begin{align} M''(0) &= (\sigma^2+(\mu+\sigma^2・0)^2)\exp\left(\mu・0 + \frac{\sigma^2・0}{2}\right)\\ &= \sigma^2+\mu^2 \end{align} }$

$M'(0)$ は期待値となるため、これを利用して分散の公式にあてはめます。

$\displaystyle{ \begin{align} V[X] &= M''(0) - (M'(0))^2\\ &= (\sigma^2 + \mu^2) - \mu^2\\ &= \sigma^2 \end{align} }$

このようにしてモーメント母関数から分散を求めることができました。

リンク

6. 歪度の導出

歪度は、分布の非対称性を測る尺度です。

正規分布のような対称な分布では歪度は0です。

分布が右に歪んでいる（長い裾が右側にある）場合、歪度は正の値を取り、左に歪んでいる（長い裾が左側にある）場合は負の値を取ります。

まとめると次のようになります。

歪度が0に近い場合

分布はほぼ対称であることを示します。

これは、データの中央値が平均値に近いことを意味し、正規分布などの対称分布の特性を持っています。
歪度が正の場合分布は右に歪んでいる（右裾が長い）ことを示します。

これは、データに非常に大きな値が含まれていることを示し、平均値が中央値よりも大きい状態です。
歪度が負の場合分布は左に歪んでいる（左裾が長い）ことを示します。

これは、データに非常に小さな値が含まれていることを示し、平均値が中央値よりも小さい状態です。

歪度は次の式で計算されます。

$\displaystyle{ Skewness = \frac{E[(X-\mu)^3]}{\sigma^3} }$