正規分布 期待値と分散の導出

統計 資格

この記事では定義通りに期待値・分散の導出を解説します。



正規分布の解説については、次の記事で解説しています。

こちらも合わせて確認してみてください。

venoda.hatenablog.com


モーメント母関数から期待値・分散の導出は次の記事で解説しています。

venoda.hatenablog.com



1. 期待値の導出

正規分布 N(\mu, \sigma^ 2)の確率密度関数は、次のように定義されます。

\displaystyle{ \begin{align} f(x) = \frac{1}{\sqrt{2 \pi \sigma}} \exp \left( - \frac{(x - \mu)^2}{2 \sigma^2} \right) \end{align} }


期待値の定義に従って、二項分布の場合の E[X]を設定します。

\displaystyle{ \begin{align} E[X] &= \int_{-∞}^{∞} x f(x) \ dx \\ \end{align} }


正規分布の確率密度関数を代入します。

\displaystyle{ \begin{align} E[X] &= \int_{-∞}^{∞} x \ \frac{1}{\sqrt{2 \pi \sigma}} \exp \left( - \frac{(x - \mu)^2}{2 \sigma^2} \right) \ dx \\ \end{align} }


ここで、 x = x - \mu + \muとして、式を変形していきます。

\displaystyle{ \begin{align} E[X] &= \int_{-∞}^{∞} (x - \mu + \mu) \ \frac{1}{\sqrt{2 \pi \sigma}} \exp \left( - \frac{(x - \mu)^2}{2 \sigma^2} \right) \ dx \\ &= \int_{-∞}^{∞} (x - \mu) \ \frac{1}{\sqrt{2 \pi \sigma}} \exp \left( - \frac{(x - \mu)^2}{2 \sigma^2} \right) \ dx + \mu \int_{-∞}^{∞} \ \frac{1}{\sqrt{2 \pi \sigma}} \exp \left( - \frac{(x - \mu)^2}{2 \sigma^2} \right) \ dx \\ &= \int_{-∞}^{∞} \left( \frac{x - \mu}{\sigma} \right) \ \frac{1}{\sqrt{2 \pi}} \exp \left( - \frac{(x - \mu)^2}{2 \sigma^2} \right) \ dx + \mu \int_{-∞}^{∞} \ \frac{1}{\sqrt{2 \pi \sigma}} \exp \left( - \frac{(x - \mu)^2}{2 \sigma^2} \right) \ dx \\ \end{align} }


ここで、第一項目のみを考えます。

y = \frac{x - \mu}{\sigma}​とおいて、変数変換を行います。

x = \sigma y + \muとなり、 \frac{dx}{dy} = \sigmaとなります。

これを用いると第一項目は次のように表すことができます。

\displaystyle{ \begin{align} \int_{-∞}^{∞} \left( \frac{x - \mu}{\sigma} \right) \ \frac{1}{\sqrt{2 \pi}} \exp \left( - \frac{(x - \mu)^2}{2 \sigma^2} \right) \ dx &= \int_{-∞}^{∞} y \ \frac{1}{\sqrt{2 \pi}} \exp \left( - \frac{1}{2} y^2 \right) \sigma \ dy \\ &= \frac{1}{\sqrt{2 \pi}} \sigma \int_{-∞}^{∞} y \ \exp \left( - \frac{1}{2} y^2 \right) dy \end{align} }


下記のガウス積分を利用します。

\displaystyle{ \begin{align} \int_{-∞}^{∞} x \ \exp \left( -ax^2 \right) dx = 0 \end{align} }


a = 1/2となるので、積分結果は 0になります。

\displaystyle{ \begin{align} \int_{-∞}^{∞} \left( \frac{x - \mu}{\sigma} \right) \ \frac{1}{\sqrt{2 \pi}} \exp \left( - \frac{(x - \mu)^2}{2 \sigma^2} \right) \ dx &= \frac{1}{\sqrt{2 \pi}} \sigma \int_{-∞}^{∞} y \ \exp \left( - \frac{1}{2} y^2 \right) dy \\ &= 0 \end{align} }


第二項目を考えます。

正規分布の確率密度関数を全範囲で積分しているので、全確率の 1になります。


以上をまとめると、次のようになります。

\displaystyle{ \begin{align} E[X] &= \int_{-∞}^{∞} \left( \frac{x - \mu}{\sigma} \right) \ \frac{1}{\sqrt{2 \pi}} \exp \left( - \frac{(x - \mu)^2}{2 \sigma^2} \right) \ dx + \mu \int_{-∞}^{∞} \ \frac{1}{\sqrt{2 \pi \sigma}} \exp \left( - \frac{(x - \mu)^2}{2 \sigma^2} \right) \ dx \\ &= 0 + \mu \cdot 1 \\ &= \mu \end{align} }


このように期待値の定義から期待値を求めることができました。




2. 分散の導出

分散は次のように求めることができます。

\displaystyle{ \begin{align} V[X] &= E[X^2] - (E[X])^2\\ \end{align} }


分散を求めるために、 E[X^ 2]を求めます。

期待値の定義に従って、正規分布の場合の E[X^ 2]​を設定します。

\displaystyle{ \begin{align} E[X^2] &= \int_{-∞}^{∞} x^2 \ f(x) \ dx \\ \end{align} }


正規分布の確率密度関数を代入します。

\displaystyle{ \begin{align} E[X^2] &= \int_{-∞}^{∞} x^2 \ \frac{1}{\sqrt{2 \pi \sigma}} \exp \left( - \frac{(x - \mu)^2}{2 \sigma^2} \right) \ dx \end{align} }


ここで、 x^ 2 = (x - \mu)^ 2 + 2 x \mu - \mu^ 2として、式を変形していきます。

\displaystyle{ \begin{align} E[X^2] &= \int_{-∞}^{∞} ((x - \mu)^2 + 2 x \mu - \mu^2) \ \frac{1}{\sqrt{2 \pi \sigma}} \exp \left( - \frac{(x - \mu)^2}{2 \sigma^2} \right) \ dx \\ &= \int_{-∞}^{∞} (x - \mu)^2 \ \frac{1}{\sqrt{2 \pi \sigma}} \exp \left( - \frac{(x - \mu)^2}{2 \sigma^2} \right) \ dx + 2 \mu \int_{-∞}^{∞} x \ \frac{1}{\sqrt{2 \pi \sigma}} \exp \left( - \frac{(x - \mu)^2}{2 \sigma^2} \right) \ dx - \mu^2 \int_{-∞}^{∞} \frac{1}{\sqrt{2 \pi \sigma}} \exp \left( - \frac{(x - \mu)^2}{2 \sigma^2} \right) \ dx \\ &= \int_{-∞}^{∞} \sigma \cdot \frac{(x - \mu)^2}{\sigma^2} \ \frac{1}{\sqrt{2 \pi}} \exp \left( - \frac{(x - \mu)^2}{2 \sigma^2} \right) \ dx + 2 \mu \int_{-∞}^{∞} x \ \frac{1}{\sqrt{2 \pi \sigma}} \exp \left( - \frac{(x - \mu)^2}{2 \sigma^2} \right) \ dx - \mu^2 \int_{-∞}^{∞} \frac{1}{\sqrt{2 \pi \sigma}} \exp \left( - \frac{(x - \mu)^2}{2 \sigma^2} \right) \ dx \end{align} }


ここで、第一項目のみを考えます。

y = \frac{x - \mu}{\sigma}​とおいて、変数変換を行います。

x = \sigma y + \muとなり、 \frac{dx}{dy} = \sigmaとなります。

これを用いると第一項目は次のように表すことができます。

\displaystyle{ \begin{align} \int_{-∞}^{∞} \sigma \cdot \frac{(x - \mu)^2}{\sigma^2} \ \frac{1}{\sqrt{2 \pi}} \exp \left( - \frac{(x - \mu)^2}{2 \sigma^2} \right) \ dx &= \int_{-∞}^{∞} \sigma \cdot y^2 \ \frac{1}{\sqrt{2 \pi}} \exp \left( - \frac{1}{2} y^2 \right) \sigma \ dx \\ &= \frac{\sigma^2}{\sqrt{2 \pi}} \int_{-∞}^{∞} y^2 \exp \left( - \frac{1}{2} y^2 \right)\ dx \\ \end{align} }


下記のガウス積分を利用します。

\displaystyle{ \begin{align} \int_{-∞}^{∞} x^2 e^{-ax^2} \ dx &= \frac{1}{2a} \sqrt{\frac{\pi}{a}} \\ \end{align} }


a = 1/2となるので、積分結果は \sqrt{2 \pi}になります。

\displaystyle{ \begin{align} \int_{-∞}^{∞} \sigma \cdot \frac{(x - \mu)^2}{\sigma^2} \ \frac{1}{\sqrt{2 \pi}} \exp \left( - \frac{(x - \mu)^2}{2 \sigma^2} \right) \ dx &= \frac{\sigma^2}{\sqrt{2 \pi}} \int_{-∞}^{∞} y^2 \exp \left( - \frac{1}{2} y^2 \right)\ dx \\ &= \frac{\sigma^2}{\sqrt{2 \pi}} \cdot \sqrt{2\pi} \\ &= \sigma^2 \end{align} }


第二項目を考えます。

正規分布の期待値となるため、 \muとなります。


第三項目を考えます。

正規分布の確率密度関数を全範囲で積分しているので、全確率の 1になります。


以上をまとめると、 E[X^ 2]は次のようになります。

\displaystyle{ \begin{align} E[X^2] &= \int_{-∞}^{∞} \sigma \cdot \frac{(x - \mu)^2}{\sigma^2} \ \frac{1}{\sqrt{2 \pi}} \exp \left( - \frac{(x - \mu)^2}{2 \sigma^2} \right) \ dx + 2 \mu \int_{-∞}^{∞} x \ \frac{1}{\sqrt{2 \pi \sigma}} \exp \left( - \frac{(x - \mu)^2}{2 \sigma^2} \right) \ dx - \mu^2 \int_{-∞}^{∞} \frac{1}{\sqrt{2 \pi \sigma}} \exp \left( - \frac{(x - \mu)^2}{2 \sigma^2} \right) \ dx \\ &= \sigma^2 + 2\mu^2 - \mu^2 \\ &= \sigma^2 + \mu^2 \end{align} }


E[X^ 2]が求まったので、分散の公式に当てはめて分散を求めていきます。

\displaystyle{ \begin{align} V[X] &= E[X^2] - (E[X])^2\\ &= \sigma^2 + \mu^2 - \mu^2 \\ &= \sigma^2 \\ \end{align} }


このように期待値の定義から分散を求めることができました。