二項分布期待値と分散の導出 - 機械学習ともろもろ

この記事では定義通りに期待値・分散の導出を解説します。

1. 期待値の導出
2. 分散の導出

二項分布の解説については、次の記事で解説しています。

こちらも合わせて確認してみてください。

venoda.hatenablog.com

モーメント母関数から期待値・分散の導出は次の記事で解説しています。

venoda.hatenablog.com

確率母関数から期待値・分散の導出は次の記事で解説しています。

venoda.hatenablog.com

1. 期待値の導出

二項分布 $B(n, p)$ の確率質量関数は、次のように定義されます。

$\displaystyle{ P(X=x) = {}_nC_x p^x (1-p)^{n-x} }$

期待値の定義に従って、二項分布の場合の $E[X]$ を設定します。

$\displaystyle{ \begin{align} E[X] &= \sum_{x=0}^{n} x P(X=x) \\ \end{align} }$

二項分布の確率質量関数を代入します。

$\displaystyle{ \begin{align} E[X] &= \sum_{x=1}^{n} x {}_nC_x p^x (1-p)^{n-x} \end{align} }$

ここで、下記の性質を利用して式を変換します。

$\displaystyle{ \begin{align} x・{}_{n}C_{x} &= x・\frac{n!}{x!(n-x)!} \\ &= \frac{n!}{(x-1)!(n-x)!}\\ &= \frac{n(n-1)!}{(x-1)!(n-x)!}\\ &= n・\frac{(n-1)!}{(x-1)!\big((n-1)-(x-1)\big)}!\\ &= n・{}_{n-1}C_{x-1} \end{align} }$

となり、

$\displaystyle{ \begin{align} x・{}_{n}C_{x} &= n・{}_{n-1}C_{x-1} \end{align} }$

となります。

これを利用して $E[X]$ を変形します。

$\displaystyle{ \begin{align} E[X] &= \sum_{x=1}^{n} x {}_nC_x p^x (1-p)^{n-x} \\ &= \sum_{x=1}^{n} n {}_{n-1}C_{x-1} p^x (1-p)^{n-x} \end{align} }$

ここで、 $p^x$ を $p・p^{x-1}$ とし、 $(1-p)^{n-x}$ を $(1-p)^{(n-1)-(x-1)}$ として、式を変形させます。

$\displaystyle{ \begin{align} E[X] &= np \sum_{x=1}^{n} {}_{n-1}C_{x-1} p^{x-1} (1-p)^{(n-1)-(x-1)} \end{align} }$

ここで $\sum_{x=1}^{n} {}_{n-1} C_{x-1} p^{x-1} (1-p)^{(n-1)-(x-1)}$ は、 $n-1$ 回の試行に対する確率の総和であり、 $1$ になります。

もう少し詳細に説明すると、二項定理により任意の $a$ と $b$ 、および非負の整数 $n$ に対して、以下の等式が成り立ちます。

$\displaystyle{ (a + b)^n = \sum_{x=0}^{n}{}_nC_x a^{n-x} b^x }$

この等式は、 $a+b$ の $n$ 乗を展開したときの一般形を示しています。

ここで、 $a$ と $b$ の和が1(例えば、 $a+b=1$ )の場合、等式の右辺は総和を表し、この総和は $1$ に等しくなります。

今回の式の場合、 $a=1-p$ 、 $b=p$ となり、 $a+b=1$ となるので、総和が $1$ となります。

これを利用すると、次のようになります。

$\displaystyle{ \begin{align} E[X] &= np・1 \\ &= np \end{align} }$

このように期待値の定義から期待値を求めることができました。

リンク

2. 分散の導出

分散は次のように求めることができます。

$\displaystyle{ \begin{align} V[X] &= E[X^2] - (E[X])^2\\ \end{align} }$

分散を求めるために、 $E[X^2]$ を求めます。

期待値の定義に従って、二項分布の場合の $E[X^2]$ を設定します。

$\displaystyle{ \begin{align} E[X^2] &= \sum_{x=0}^{n} x^2 P(X=x) \\ \end{align} }$

二項分布の確率質量関数を代入します。

$\displaystyle{ \begin{align} E[X^2] &= \sum_{x=1}^{n} x^2 {}_nC_x p^x (1-p)^{n-x} \end{align} }$

ここで、 $x^2$ を $x(x-1)+x$ に変形し、展開します。

$\displaystyle{ \begin{align} E[X^2] &= \sum_{x=1}^{n} \big(x(x-1) + x\big) {}_nC_x p^x (1-p)^{n-x} \\ &= \sum_{x=1}^{n} x(x-1) {}_nC_x p^x (1-p)^{n-x} + \sum_{x=1}^{n} x {}_nC_x p^x (1-p)^{n-x} \end{align} }$

ここで右辺の第二項 $\sum_{x=1}^{n} x {}_nC_x p^x (1-p)^{n-x}$ は、期待値 $E[X]$ となります。

右辺の第一項を計算していきます。

下記の性質を利用して式を変換します。

$\displaystyle{ \begin{align} x(x-1)・{}_{n}C_{x} &= x(x-1)・\frac{n!}{x!(n-x)!} \\ &= \frac{n!}{(x-2)!(n-x)!}\\ &= \frac{n(n-1)(n-2)!}{(x-2)!(n-x)!}\\ &= n(n-1)・\frac{(n-2)!}{(x-2)!\big((n-2)-(x-2)\big)!}\\ &= n(n-1)・{}_{n-2}C_{x-2} \end{align} }$

となり、

$\displaystyle{ \begin{align} x(x-1)・{}_{n}C_{x} &= n(n-1)・{}_{n-2}C_{x-2} \end{align} }$

となります。

これを利用して変形します。

$\displaystyle{ \begin{align} \sum_{x=1}^{n} x(x-1) {}_nC_x p^x (1-p)^{n-x} &= \sum_{x=1}^{n} n(n-1) {}_{n-2}C_{x-2} p^x (1-p)^{n-x} \end{align} }$

ここで、 $p^x$ を $p^2・p^{x-2}$ とし、 $(1-p)^{n-x}$ を $(1-p)^{(n-2)-(x-2)}$ として、式を変形させます。

$\displaystyle{ \begin{align} \sum_{x=1}^{n} x(x-1) {}_nC_x p^x (1-p)^{n-x} &= \sum_{x=1}^{n} n(n-1) {}_{n-2}C_{x-2} p^x (1-p)^{n-x} \\ &= \sum_{x=1}^{n} n(n-1) {}_{n-2}C_{x-2} p^2 p^{x-2} (1-p)^{(n-2)-(x-2)} \\ &= n(n-1)p^2 \sum_{x=1}^{n} {}_{n-2}C_{x-2} p^{x-2} (1-p)^{(n-2)-(x-2)} \end{align} }$

ここで $\sum_{x=1}^{n} {}_{n-2}C_{x-2} p^{x-2} (1-p)^{(n-2)-(x-2)}$ は、 $n-2$ 回の試行に対する確率の総和であり、 $1$ になります。

※考えた方は期待値の時と同じです。

$\displaystyle{ \begin{align} \sum_{x=1}^{n} x(x-1) {}_nC_x p^x (1-p)^{n-x} &= n(n-1)p^2 \sum_{x=1}^{n} {}_{n-2}C_{x-2} p^{x-2} (1-p)^{(n-2)-(x-2)} \\ &= n(n-1)p^2・1 \\ &= n(n-1)p^2 \end{align} }$

以上をまとめると、 $E[X^2]$ は次のようになります。

$\displaystyle{ \begin{align} E[X^2] &= \sum_{x=1}^{n} x(x-1) {}_nC_x p^x (1-p)^{n-x} + \sum_{x=1}^{n} x {}_nC_x p^x (1-p)^{n-x} \\ &= n(n-1)p^2 + np \end{align} }$

$E[X^2]$ が求まったので、分散の公式に当てはめて分散を求めていきます。

$\displaystyle{ \begin{align} V[X] &= E[X^2] - (E[X])^2\\ &= n(n-1)p^2 + np - n^2p^2 \\ &= n^2p^2 -np^2 + np - n^2p^2 \\ &= np - np^2\\ &= np(1-p) \end{align} }$

このように期待値の定義から分散を求めることができました。

リンク