カイ二乗分布の確率密度関数の導出

1. 標準正規分布の二乗和がカイ二乗分布になることの証明
2. カイ二乗分布の確率密度関数の導出

独立に正規分布 $N(0,1)$ に従う確率変数 $Z _ 1, Z _ 2, \ldots, Z _ n$ を考えます。

それぞれの2乗した値 $Z _ i^ 2$ を、 $X _ i = Z _ i^ 2$ とおきます。

これらの和を $Y$ とおくとき、次のように $Y$ は定義されます。

$\displaystyle{ \begin{align} Y &= X_1 + X_2 + \cdot + X_n \\ &= Z_1^2 + Z_2^2 + \cdots + Z_n^2 \end{align} }$

この確率変数 $Y$ がカイ二乗分布に従うことの証明と、実際にカイ二乗分布の確率密度関数を導出します。

1. 標準正規分布の二乗和がカイ二乗分布になることの証明

ガンマ分布のモーメント母関数を使用して、 $Y$ がカイ二乗分布になることを証明します。

$Z _ i$ が $N(0,1)$ に従うとき、 $X _ i = Z _ i^ 2$ とおいて $X _ i$ の密度関数を求めることから始めます。

$Z _ i$ は標準正規分布に従うので、次の確率密度関数として表されます。

$\displaystyle{ \begin{align} f_{Z_i}(z) = \frac{1}{\sqrt{2\pi}} e^{- \frac{z^2}{2}} \end{align} }$

$X _ i$ の密度関数 $f _ {X _ i}(x)$ は、変数変換により求めることができます。

$X _ i = Z _ i^ 2$ のとき、 $x \geq 0$ での $X _ i$ の密度関数は以下のように導出されます。

$\displaystyle{ \begin{align} f_{X_i}(x) = \frac{1}{\sqrt{2\pi}} \frac{1}{\sqrt{x}} e^{-\frac{x}{2}}, \quad x > 0 \end{align} }$

この式の導出方法がわからない場合は、次の記事で平方変換について解説しているので、確認してみてください。

venoda.hatenablog.com

ここで、 $f _ {X _ i}(x)$ を次のように変形します。

$\displaystyle{ \begin{align} f_{X_i}(x) &= \frac{1}{\sqrt{2\pi}} \frac{1}{\sqrt{x}} e^{-\frac{x}{2}} \\ &= \frac{1}{\Gamma\left(\frac{1}{2}\right)} \frac{1}{2^{\frac{1}{2}}} x^{\frac{1}{2} - 1} e^{-\frac{x}{2}} \end{align} }$

ガンマ分布の確率密度関数は次のように表すことができます。

$\displaystyle{ \begin{align} f(x; k, \theta) &= \frac{1}{\Gamma(k)}\frac{1}{\theta^k}x^{k-1} e^{-\frac{x}{\theta}} \end{align} }$

これらをふまえると、 $f _ {X _ i}(x)$ は $k=\frac{1}{2}$ , $\theta=2$ のガンマ分布の確率密度関数になることがわかります。

つまり、 $X _ i$ はガンマ分布 $Ga \left(\frac{1}{2},2\right)$ に従うということです。

$X _ 1, X _ 2, \ldots, X _ n$ は独立で $Ga\left(\frac{1}{2}, 2\right)$ に従うので、ガンマ分布は再生性を利用して、これらの和 $Y = X _ 1 + X _ 2 + \cdots + X _ n$ もガンマ分布に従います。

$Ga\left(\frac{1}{2},2\right)$ のモーメント母関数は次のようになります。

$\displaystyle{ \begin{align} M_X(t) = \left( \frac{1}{1 - 2t}\right)^{\frac{1}{2}} \end{align} }$

$Y$ のモーメント母関数を求めます。

$\displaystyle{ \begin{align} E\left[e^{tY}\right] &= E\left[e^{t(X_1 + X_2 + \cdots + X_n)}\right] \\ &= E\left[e^{tX_1}\right] \cdot E\left[e^{tX_2}\right] \cdots E\left[e^{tX_n}\right] \\ &= \left( \frac{1}{1 - 2t}\right)^{\frac{1}{2}} \cdot \left( \frac{1}{1 - 2t}\right)^{\frac{1}{2}} \cdots \left( \frac{1}{1 - 2t}\right)^{\frac{1}{2}} \\ &= \left( \frac{1}{1 - 2t}\right)^{\frac{n}{2}} \end{align} }$

求めたモーメント母関数は、自由度 $n$ のカイ二乗分布のモーメント母関数となるため、確率分布とモーメント母関数の対応から、 $Y$ は自由度 $n$ のカイ二乗分布に従うことがわかります。

$\displaystyle{ \begin{align} f(y; n) = \frac{1}{\Gamma(n/2)}\left(\frac{1}{2}\right)^{n/2}y^{n/2-1}\exp(-y/2), \quad y > 0 \end{align} }$

カイ二乗分布はガンマ分布の特別なケースと見なすことができます。

言い換えると、自由度の $n$ のカイ二乗分布は、パラメータ $k=n/2$ , $\theta=2$ のガンマ分布 $Ga(k, \theta)$ となります。

リンク

2. カイ二乗分布の確率密度関数の導出

標準正規分布の二乗和がカイ二乗分布になることが証明できたので、今度は実際に標準正規分布の二乗和からカイ二乗分布の確率密度関数を導出してみたいと思います。

1. 導出の方針

以下の流れカイ二乗分布の確率密度関数の導出を行います。

$Y = X _ 1$ のときの確率密度関数 $f _ {1}(y)$ を求める
$Y = X _ 1 + X _ 2$ のときの確率密度関数 $f _ {2}(y)$ を求める
$Y = X _ 1 + X _ 2 + X _ 3$ のときの確率密度関数 $f _ {3}(y)$ を求める
$Y = X _ 1 + \cdots + X _ k$ の時の確率密度関数 $f _ {k}(y)$ を類推する
$Y = X _ 1 + \cdots + X _ k + X _ {k+1}$ が、 $f _ {k+1}(y)$ となることを数学的帰納法を使用して証明する

2. 前提知識

確率変数の線形結合

$f _ 2(y), f _ 3(y), f _ {k+1}(y)$ を求める過程で、確率変数の線形結合の知識を使用して、それぞれの確率密度関数を求めます。

詳しい内容は次の記事で解説しているので、確認してみてください。

venoda.hatenablog.com

ガンマ関数とベータ関数

計算の過程でガンマ関数とベータ関数を使用します。

それぞれの式と性質を簡単に記載します。

ガンマ関数

$\displaystyle{ \begin{align} \Gamma(s) &= \int_{0}^{∞} x^{s-1}・e^{-x} \ dx \end{align} }$

$\displaystyle{ \begin{align} \Gamma(s) &= (s-1)\Gamma(s-1)\\ &= (s-1)!\\ \Gamma \bigg(\frac{1}{2}\bigg) &= \sqrt{\pi} \\ \Gamma(1) &= 1 \\ \end{align} }$
ベータ関数

$\displaystyle{ \begin{align} B(p, q) = \int_{0}^{1} x^{p-1}・(1-x)^{q-1} \ dx \end{align} }$

$\displaystyle{ \begin{align} B(p, q) = \frac{\Gamma(p) \ \Gamma(q)}{\Gamma(p+q)} \end{align} }$

リンク

3. カイ二乗分布の導出

1. $Y = X _ 1$ のときの確率密度関数 $f _ {1}(y)$ を求める

$Y = X _ 1 = Z _ 1^ 2$ となるため、上で証明したものを流用すると、次のように $f _ 1(y)$ を求めることができます。

$\displaystyle{ \begin{align} f_{1}(y) &= \frac{1}{\sqrt{2\pi}} \frac{1}{\sqrt{y}} e^{-\frac{y}{2}} \\ \end{align} }$

2. $Y = X _ 1 + X _ 2$ のときの確率密度関数 $f _ {2}(y)$ を求める

次のように確率変数を定義します。

$\displaystyle{ \begin{align} Y &= X_1 + X_2 \\ T &= X_2 \end{align} }$

$f _ 2(y)$ は次のように求めることができます。

$\displaystyle{ \begin{align} f_{2}(y) &= \int_{0}^{y} f_{YT}(y, t) \ dt \\ &= \int_{0}^{y} f_1(y-t) f_1(t) \ dt \\ &= \int_{0}^{y} \frac{1}{\sqrt{2\pi}} \frac{1}{\sqrt{y-t}} e^{-\frac{y-t}{2}} \frac{1}{\sqrt{2\pi}} \frac{1}{\sqrt{t}} e^{-\frac{t}{2}} \ dt \\ &= \frac{1}{2\pi} e^{-\frac{y}{2}} \int_{0}^{y} t^{-\frac{1}{2}} (y-t)^{-\frac{1}{2}} \ dt \end{align} }$

ここで $t = y \cdot u$ とおきます。

$\frac{dt}{du} = y$ となり、積分範囲は $0 → y$ から $0 → 1$ となります。

$\displaystyle{ \begin{align} f_{2}(y) &= \frac{1}{2\pi} e^{-\frac{y}{2}} \int_{0}^{y} t^{-\frac{1}{2}} (y-t)^{-\frac{1}{2}} \ dt \\ &= \frac{1}{2\pi} e^{-\frac{y}{2}} \int_{0}^{1} (yu)^{-\frac{1}{2}} (y-yu)^{-\frac{1}{2}} \ y \ du \\ &= \frac{1}{2\pi} e^{-\frac{y}{2}} \int_{0}^{1} y^{-\frac{1}{2}} u^{-\frac{1}{2}} y^{-\frac{1}{2}} (1-u)^{-\frac{1}{2}} \ y \ du \\ &= \frac{1}{2\pi} e^{-\frac{y}{2}} \int_{0}^{1} u^{-\frac{1}{2}} (1-u)^{-\frac{1}{2}} \ du \\ &= \frac{1}{2\pi} e^{-\frac{y}{2}} \int_{0}^{1} u^{\frac{1}{2}-1} (1-u)^{\frac{1}{2}-1} \ du \\ \end{align} }$

積分箇所は、 $p=1/2, q = 1/2$ のベータ関数となります。

また、ガンマ関数の性質を利用して、式を整理していきます。

$\displaystyle{ \begin{align} f_{2}(y) &= \frac{1}{2\pi} e^{-\frac{y}{2}} \int_{0}^{1} u^{\frac{1}{2}-1} (1-u)^{\frac{1}{2}-1} \ du \\ &= \frac{1}{2\pi} e^{-\frac{y}{2}} B\left(\frac{1}{2}, \frac{1}{2}\right) \\ &= \frac{1}{2\pi} e^{-\frac{y}{2}} \frac{\Gamma\left(\frac{1}{2}\right)\Gamma\left(\frac{1}{2}\right)}{\Gamma(1)} \\ &= \frac{1}{2\pi} e^{-\frac{y}{2}} \pi \\ &= \frac{1}{2} e^{-\frac{y}{2}} \end{align} }$

以上で、 $f_2(y)$ を求めることができました。

3. $Y = X _ 1 + X _ 2 + X _ 3$ のときの確率密度関数 $f _ {3}(y)$ を求める

$Y = X _ 1 + X _ 2 + X _ 3$ としたときに、 $X _ 1 + X _ 2$ は $f _ 2(x)$ に従い、 $X _ 3$ は $f _ 1(x)$ に従います。

このように分解すると、 $f _ 2(x)$ と $f _ 1(x)$ の線形結合とみることができます。

$X = X _ 1 + X _ 2$ おいて確率変数を次のように置きます。

$\displaystyle{ \begin{align} Y &= X + X_3 \\ T &= X_3 \end{align} }$

$f _ 3(y)$ は次のように求めることができます。

$\displaystyle{ \begin{align} f_{3}(y) &= \int_{0}^{y} f_{YT}(y, t) \ dt \\ &= \int_{0}^{y} f_2(y-t) f_1(t) \ dt \\ &= \int_{0}^{y} \frac{1}{2} e^{-\frac{y-t}{2}} \frac{1}{\sqrt{2\pi}} \frac{1}{\sqrt{t}} e^{-\frac{t}{2}} \ dt \\ &= \frac{1}{2\sqrt{2\pi}} e^{-\frac{y}{2}} \int_{0}^{y} \frac{1}{\sqrt{t}} \ dt \\ &= \frac{1}{2\sqrt{2\pi}} e^{-\frac{y}{2}} 2 \sqrt{y} \\ &= \frac{1}{2\sqrt{\pi}} \sqrt{y} e^{-\frac{y}{2}} \end{align} }$

以上で、 $f _ 3(y)$ を求めることができました。

リンク

4. $Y = X _ 1 + \cdots + X _ k$ の時の確率密度関数 $f _ {k}(y)$ を類推する

これまでに計算した $f _ {1}(y), f _ {2}(y), f _ {3}(y)$ をまとめると、次のようになります。

$\displaystyle{ \begin{align} f_{1}(y) &= \frac{1}{\sqrt{2\pi}} y^{-\frac{1}{2}} e^{-\frac{y}{2}} \\ f_{2}(y) &= \frac{1}{2} y^{0} e^{-\frac{y}{2}} \\ f_{3}(y) &= \frac{1}{2\sqrt{\pi}} y^{\frac{1}{2}} e^{-\frac{y}{2}} \end{align} }$

$f _ k(y)$ を次のように類推します。

$e^ {-\frac{y}{2}}$ は、 $k=1, 2, 3$ ですべて共通しています。

$y^ {〇}$ の指数部分は、 $y^ {\frac{k}{2}-1}$ の形になっていることがわかります。

定数部分ですが、これは類推することが難しそうなので、 $A$ とおきます。

以上をまとめると、 $f _ k(y)$ は次のように表すことができます。

$\displaystyle{ \begin{align} f_k(y) = A \cdot y^{\frac{k}{2} - 1} e^{-\frac{y}{2}} \end{align} }$

不明の定数部分 $A$ は、確率密度関数を全範囲で積分すると $1$ になるという性質を利用して、次の式を解くことで $A$ を求めます。

$\displaystyle{ \begin{align} \int_{0}^{∞} A \cdot y^{\frac{k}{2} - 1} e^{-\frac{y}{2}} \ dy &= 1 \\ \end{align} }$

ここで、 $\Gamma(\frac{k}{2}) \cdot 2^ {\frac{k}{2}} / \Gamma(\frac{k}{2}) \cdot 2^ {\frac{k}{2}}$ を左辺に掛けて、式を整理します。

$\displaystyle{ \begin{align} A \int_{0}^{∞} \frac{\Gamma\left(\frac{k}{2}\right) \cdot 2^{\frac{k}{2}}}{\Gamma\left(\frac{k}{2}\right) \cdot 2^{\frac{k}{2}}}\cdot y^{\frac{k}{2} - 1} e^{-\frac{y}{2}} \ dy &= 1 \\ A \cdot \Gamma\left(\frac{k}{2}\right) \cdot 2^{\frac{k}{2}} \int_{0}^{∞} \frac{1}{\Gamma\left(\frac{k}{2}\right) \cdot 2^{\frac{k}{2}}}\cdot y^{\frac{k}{2} - 1} e^{-\frac{y}{2}} \ dy &= 1 \end{align} }$

積分箇所を考えます。

これは $Ga(\frac{k}{2}, 2)$ のガンマ分布とみることができます。

全範囲で積分すると $1$ となるため、次のように $A$ を求めることができます。

$\displaystyle{ \begin{align} A \cdot \Gamma\left(\frac{k}{2}\right) \cdot 2^{\frac{k}{2}} \int_{0}^{∞} \frac{1}{\Gamma\left(\frac{k}{2}\right) \cdot 2^{\frac{k}{2}}}\cdot y^{\frac{k}{2} - 1} e^{-\frac{y}{2}} \ dy &= 1 \\ A \cdot \Gamma\left(\frac{k}{2}\right) \cdot 2^{\frac{k}{2}} &= 1 \\ A &= \frac{1}{\Gamma\left(\frac{k}{2}\right) \cdot 2^{\frac{k}{2}}} \end{align} }$

$A$ を求めることができたので、 $f _ k(y)$ は次のように類推することができます。

$\displaystyle{ \begin{align} f_k(y) = \frac{1}{\Gamma\left(\frac{k}{2}\right) \cdot 2^{\frac{k}{2}}} y^{\frac{k}{2} - 1} e^{-\frac{y}{2}} \end{align} }$

5. $Y = X _ 1 + \cdots + X _ k + X _ {k+1}$ が、 $f _ {k+1}(y)$ となることを、数学的帰納法を使用して証明する

数学的帰納法を使用して、 $f _ k(y)$ が成り立つと仮定し、 $f _ {k+1}(y)$ も成り立つを示します。

$Y = X _ 1 + \cdots + X _ k + X _ {k+1}$ としたときに、 $X _ 1 + \cdots + X _ k$ は $f _ k(x)$ に従い、 $X _ {k+1}$ は $f _ 1(x)$ に従います。

このように分解ができるため、 $f _ k(x)$ と $f _ 1(x)$ の線形結合とみることができます。

$X = X _ 1 + \cdots + X _ k$ おいて確率変数を次のように置きます。

$\displaystyle{ \begin{align} Y &= X + X_{k+1} \\ T &= X_{k+1} \end{align} }$

$f _ k(y)$ は次のように求めることができます。

$\displaystyle{ \begin{align} f_{k+1}(y) &= \int_{0}^{y} f_{YT}(y, t) \ dt \\ &= \int_{0}^{y} f_k(y-t) f_1(t) \ dt \\ &= \int_{0}^{y} \frac{1}{\Gamma\left(\frac{k}{2}\right) \cdot 2^{\frac{k}{2}}} (y-t)^{\frac{k}{2} - 1} e^{-\frac{y-t}{2}} \frac{1}{\sqrt{2\pi}} \frac{1}{\sqrt{t}} e^{-\frac{t}{2}} \ dt\\ &= \frac{1}{\Gamma\left(\frac{k}{2}\right) \cdot 2^{\frac{k}{2}}} \frac{1}{\sqrt{2\pi}} e^{-\frac{y}{2}} \int_{0}^{∞} t^{-\frac{1}{2}} (y - t)^{\frac{k}{2} - 1} \ dt \end{align} }$

ここで $t = y \cdot u$ とおきます。

$\frac{dt}{du} = y$ となり、積分範囲は $0 → y$ から $0 → 1$ となります。

$\displaystyle{ \begin{align} f_{k+1}(y) &= \frac{1}{\Gamma\left(\frac{k}{2}\right) \cdot 2^{\frac{k}{2}}} \frac{1}{\sqrt{2\pi}} e^{-\frac{y}{2}} \int_{0}^{∞} t^{-\frac{1}{2}} (y - t)^{\frac{k}{2} - 1} \ dt \\ &= \frac{1}{\Gamma\left(\frac{k}{2}\right) \cdot 2^{\frac{k}{2}}} \frac{1}{\sqrt{2\pi}} e^{-\frac{y}{2}} \int_{0}^{1} (yu)^{-\frac{1}{2}} (y - yu)^{\frac{k}{2} -1} y \ du \\ &= \frac{1}{\Gamma\left(\frac{k}{2}\right) \cdot 2^{\frac{k}{2}}} \frac{1}{\sqrt{2\pi}} e^{-\frac{y}{2}} \int_{0}^{1} y^{-\frac{1}{2}} u^{-\frac{1}{2}} y^{\frac{k}{2} -1} (1 - u)^{\frac{k}{2} -1} y \ du \\ &= \frac{1}{\Gamma\left(\frac{k}{2}\right) \cdot 2^{\frac{k}{2}}} \frac{1}{\sqrt{2\pi}} e^{-\frac{y}{2}} y^{\frac{k}{2} - \frac{1}{2}} \int_{0}^{1} u^{-\frac{1}{2}} (1 - u)^{\frac{k}{2} -1} \ du \\ &= \frac{1}{\Gamma\left(\frac{k}{2}\right) \cdot 2^{\frac{k}{2}}} \frac{1}{\sqrt{2\pi}} e^{-\frac{y}{2}} y^{\frac{k+1}{2} - 1} \int_{0}^{1} u^{\frac{1}{2}-1} (1 - u)^{\frac{k}{2} -1} \ du \\ \end{align} }$

積分箇所は、 $p=1/2, q = k/2$ のベータ関数となるので、ベータ関数を利用して式を整理していきます。

$\displaystyle{ \begin{align} f_{k+1}(y) &= \frac{1}{\Gamma\left(\frac{k}{2}\right) \cdot 2^{\frac{k}{2}}} \frac{1}{\sqrt{2\pi}} e^{-\frac{y}{2}} y^{\frac{k+1}{2} - 1} \int_{0}^{1} u^{\frac{1}{2}-1} (1 - u)^{\frac{k}{2} -1} \ du \\ &= \frac{1}{\Gamma\left(\frac{k}{2}\right) \cdot 2^{\frac{k}{2}}} \frac{1}{\sqrt{2\pi}} e^{-\frac{y}{2}} y^{\frac{k+1}{2} - 1} \frac{\Gamma\left( \frac{1}{2} \right)\Gamma\left( \frac{k}{2} \right)}{\Gamma\left( \frac{k}{2} + \frac{1}{2} \right)} \\ &= \frac{1}{\Gamma\left(\frac{k}{2}\right) \cdot 2^{\frac{k}{2}}} \frac{1}{\sqrt{2\pi}} e^{-\frac{y}{2}} y^{\frac{k+1}{2} - 1} \frac{\sqrt{\pi} \cdot \Gamma\left( \frac{k}{2} \right)}{\Gamma\left( \frac{k+1}{2} \right)} \\ &= \frac{1}{\Gamma\left(\frac{k+1}{2}\right) \cdot 2^{\frac{k+1}{2}}} y^{\frac{k+1}{2} - 1} e^{-\frac{y}{2}} \end{align} }$

これにより、 $k+1$ のときも成り立つことが確認できました。

以上より、自由度 $n$ のカイ二乗分布の確率密度関数は次のように求めることができます。

$\displaystyle{ \begin{align} f_n(y) = \frac{1}{\Gamma\left(\frac{n}{2}\right) \cdot 2^{\frac{n}{2}}} y^{\frac{n}{2} - 1} e^{-\frac{y}{2}} \end{align} }$

リンク