一様分布の最尤推定量の導出 (パラメータが二つ)

1. 一様分布の最尤推定について
2. 尤度関数の設定
3. 尤度関数の最大化

1. 一様分布の最尤推定について

区間 $[0, \theta]$ 上で定義される一様分布に従う母集団からの実現値を $x_1,x_2,...,x_n$ とすると、 $x_1,x_2,...,x_n$ のそれぞれの確率密度関数は次のように表されます。

$\displaystyle{ \begin{align} f(x_i| \theta_1, \theta_2) = \frac{1}{\theta_2 - \theta_1} 　　 (\theta_1 \leq x_i \leq \theta_2) \end{align} }$

ここで、 $x_i$ は観測されたデータです。

このパラメータ $\theta_1$ と $\theta_2$ を最尤推定法により求めていきます。

リンク

2. 尤度関数の設定

観測データ $X={x_1,x_2,…,x_n}$ に対する尤度関数 $L(\theta_1, \theta_2∣X)$ は、個々の観測値の確率密度関数の積として定義されます。

$\displaystyle{ \begin{align} L(\theta_1, \theta_2 |X) &= \prod_{i=1}^{n} f(x_i|\theta_1, \theta_2) \\ &= f(x_1|\theta_1, \theta_2)・f(x_2|\theta_1, \theta_2) \cdots f(x_n|\theta_1, \theta_2) \\ &= \frac{1}{\theta_2 - \theta_1} \cdot \frac{1}{\theta_2 - \theta_1} \cdots \frac{1}{\theta_2 - \theta_1} \\ &= \frac{1}{(\theta_2 - \theta_1)^n} \end{align} }$

リンク

3. 尤度関数の最大化

尤度関数が最大となる最尤推定量 $\tilde{\theta_1}$ と $\tilde{\theta_2}$ がどうなるか考える際に、次の前提をおさえておきましょう。

一様分布の定義から $\theta_1$ から $\theta_2$ の範囲外の値が生成される確率は $0$ になります。

これが意味するところとして、仮に観測データセット $X$ の中に少なくとも一つの値（ $x_k$ ）が $\theta_1$ から $\theta_2$ の範囲外（ $x _ k \lt \theta _ 1$ または $\theta _ 2 \lt x _ k$ ）の場合は確率が $0$ になり、同時確率密度関数である尤度関数も $0$ になります。

具体的には、 $x_k$ が $x _ k \lt \theta _ 1$ または $\theta _ 2 \lt x _ k$ のとき尤度関数は次のように $0$ になります。

$\displaystyle{ \begin{align} L(\theta|X) &= f(x_1 | \theta_1, \theta_2) \cdot f(x_2 | \theta_1, \theta_2) \cdots f(x_k | \theta_1, \theta_2) \cdots f(x_n | \theta_1, \theta_2) \\ &= \frac{1}{\theta_2 - \theta_1} \cdot \frac{1}{\theta_2 - \theta_1} \cdots 0 \cdots \frac{1}{\theta_2 - \theta_1} \\ &= 0 \end{align} }$

これを踏まえて、最尤推定量 $\tilde{\theta} _ 1, \tilde{\theta} _ 2$ を考えていきます。

観測データ $X={x_1,x_2,…,x_n}$ が与えられたときに、観測データ内の最大値 $x _ {max}$ と最小値 $x _ {min}$ を次のように定義します。

$\displaystyle{ \begin{align} max\{x_1, x_2,...,x_n\} &= x_{max} \\ min\{x_1, x_2,...,x_n\} &= x_{min} \end{align} }$

ここで、 $x _ {min}$ より大きい値をパラメータ $\theta_1$ （ $x _ {min} \lt \theta _ 1$ ）に設定すると、 $x = x_{min}$ のときに $f(x _ {min}|\theta _ 1, \theta _ 2) = 0$ となり尤度関数が $0$ になります。

同様に $x_{max}$ より小さい値をパラメータ $\theta_2$ （ $x _ {max} \gt \theta _ 2$ ）に設定すると、 $x = x _ {max}$ のときに $f(x _ {max}|\theta _ 1, \theta _ 2) = 0$ となり尤度関数が $0$ になります。

そのため、 $\theta _ 1$ と $\theta _ 2$ の条件は次のようになります。

$\displaystyle{ \begin{align} x_{min} \ge \theta_1 \\ x_{max} \leq \theta_2 \end{align} }$

一方で、尤度関数 $L(\theta|X)=\frac{1}{(\theta _ 2 - \theta _ 1)^ n}$ は減少関数となるので、 $x _ {min}$ よりも $\theta_1$ を小さくしたり、 $x _ {max}$ よりも $\theta_2$ を大きくしたりすると、尤度関数が小さくなっていきます。