一様分布の最尤推定量の導出 (パラメータが一つ)

統計 資格




1. 一様分布の最尤推定について

区間 [0, \theta]上で定義される一様分布に従う母集団からの実現値を x_1,x_2,...,x_nとすると、 x_1,x_2,...,x_nのそれぞれの確率密度関数は次のように表されます。

\displaystyle{ \begin{align} f(x_i| \theta) = \frac{1}{\theta} 　　 (0 < x_i \leq \theta) \end{align} }


ここで、 x_i は観測されたデータです。


このパラメータ \thetaを最尤推定法により求めていきます。




2. 尤度関数の設定

観測データ X={x_1,x_2,…,x_n}に対する尤度関数 L(\theta∣X)は、個々の観測値の確率密度関数の積として定義されます。

\displaystyle{ \begin{align} L(\theta|X) &= \prod_{i=1}^{n} f(x_i|\theta) \\ &= f(x_1|\theta)・f(x_2|\theta) \cdots f(x_n|\theta) \\ &= \frac{1}{\theta} \cdot \frac{1}{\theta} \cdots \frac{1}{\theta} \\ &= \frac{1}{\theta^n} \end{align} }




3. 尤度関数の最大化

尤度関数が最大となる最尤推定量 \tilde{\theta}がどうなるか考える際に、次の前提をおさえておきましょう。


一様分布の定義から \thetaより大きい値が生成される確率は 0になります。

これが意味するところとして、仮に観測データセット Xの中に少なくとも一つの値（ x_k）が \thetaよりも大きくなる場合（ x _ k \gt \theta）は確率が 0になり、同時確率密度関数である尤度関数も 0になります。


具体的には、 x_kが x _ k \gt \thetaのとき尤度関数は次のように 0になります。

\displaystyle{ \begin{align} L(\theta|X) &= f(x_1 | \theta) \cdot f(x_2 | \theta) \cdots f(x_k | \theta) \cdots f(x_n | \theta) \\ &= \frac{1}{\theta} \cdot \frac{1}{\theta} \cdots 0 \cdots \frac{1}{\theta} \\ &= 0 \end{align} }


これを踏まえて、最尤推定量 \tilde{\theta}​を考えていきます。


観測データ X={x_1,x_2,…,x_n}が与えられたときに、観測データ内の最大値 x_{max}を次のように定義します。

\displaystyle{ \begin{align} max\{x_1, x_2,...,x_n\} = x_{max} \end{align} }


ここで、 x _ {max}より小さい値をパラメータ \theta（ x _ {max} \gt \theta）に設定すると、 x = x _ {max}のときに f(x_{max}|\theta) = 0となり尤度関数が 0になります。

そのため、 \thetaの条件としては x_{max} \leq \thetaとなります。


一方で、尤度関数 L(\theta|X)=\frac{1}{\theta^n}は減少関数となるので、 x_{max}よりも \thetaを大きくしてしまうと、尤度関数が小さくなっていきます。


以上を踏まえると、尤度関数を最大化するパラメータ \thetaは x_{max}となることがわかります。


これにより、 \thetaの最尤推定量 \tilde{\theta}は次のように求めることができます。

\displaystyle{ \tilde{\theta} = x_{max} }