最尤推定（尤度関数・最尤推定量・対数尤度関数・尤度方程式・正規分布, 指数分布, 一様分布, ポアソン分布の最尤推定量）

最尤推定法は、パラメータ推定の方法の一つです。

観測されたデータに基づいて、統計モデルのパラメータを推定する際に用いられます。

最尤推定法の目的は、観測データが得られる確率（尤度）を最大にするパラメータの値を見つけることです。

最尤推定法により最尤推定量を求める流れを解説します。

尤度関数は、統計モデルのパラメータを特定するために最尤推定法で使用される重要な概念です。

尤度関数は、観測データが与えられた条件下での、モデルパラメータの確率（または尤度）を表します。

言い換えると、尤度関数は、特定のパラメータ値が与えられたときに、観測されたデータセットが得られる「尤もらしさ」を数値化します。

尤度関数は、確率密度関数を基にして定義されます。パラメータベクトルを $\theta$ 、観測データセットを $X = (x_1, x_2,..., x_n)$ とした場合、尤度関数 $L(\theta | X)$ は以下のように表されます。

$\displaystyle{ \begin{align} L(\theta | X) &= P(X | \theta) \\ &= \prod_{i=1}^{n} f(x_i | \theta) \end{align} }$

ここで、 $P(x_i | \theta)$ は、パラメータ $\theta$ が与えられたときの個々の観測値 $x_i$ の確率です。

尤度関数は、これらの確率の積として定義され、全観測データが特定のパラメータセットに基づいて生成される「尤もらしさ」を評価します。

リンク

最尤推定量は、最尤推定法によって得られるパラメータの推定値です。

尤度関数 $L(\theta|X)$ を最大にするパラメータ値、つまり観測データが得られる確率（尤度）を最大にするパラメータ値 $\hat{\theta}$ を指します。

リンク

実際に最尤推定量を求める際に、尤度関数を対数変換して求めていきます。

尤度関数を対数変換したものを、対数尤度関数と呼びます。

対数尤度関数は、最尤推定法でパラメータを推定する際に広く使用されます。

この変換は、計算の簡素化、数値的安定性の向上、および解析的な取り扱いの容易さを目的として行われます。

尤度関数を $L(\theta|X)$ としたとき、対数尤度関数 $l(\theta)$ は次のように定義されます。

$\displaystyle{ \begin{align} l(\theta) &= \log L(\theta|X) \end{align} }$

リンク

尤度方程式は、尤度関数を最大化するための条件を定式化した方程式です。

具体的には、対数尤度関数（または尤度関数）の最大値を与えるパラメータの値を見つけるために、対数尤度関数をパラメータに関して微分し、その導関数（勾配）をゼロに設定することで得られます。

この尤度方程式を解くことで、最尤推定量を求めることができます。

推定したいパラメータを $\boldsymbol{\theta}=(\theta_1,...\theta_k)$ とした場合、尤度方程式は次のように定義されます。

$\displaystyle{ \begin{align} \frac{\partial}{\partial\theta}l(\theta_1,...,\theta_k) = 0　　i=1,..,k \end{align} }$

※尤度関数を使用する場合は次のように定義されます。

$\displaystyle{ \begin{align} \frac{\partial}{\partial\theta}L(\theta_1,...,\theta_k|X) = 0　　i=1,..,k \end{align} }$

リンク

数式による説明だけだと、理解しずらい箇所もあるかと思いますので、例題を通して解説していきます。

リンク