線形重回帰と重相関係数

統計 資格




1. 線形重回帰

複数の説明変数を用いて、1つの目的変数を予測するための統計的手法です。

このモデルは、各説明変数が目的変数に与える影響の大きさと方向を推定します。


基本的に、説明変数と目的変数間の関係が線形であると仮定し、その関係性を数学的に表現します。

線形重回帰では、目的変数 y _ iの値を、複数の説明変数 x _ {i1}, x _ {i2}, \ldots, x _ {ip}の線形結合で表します。


モデルの式は以下のように定義されます。

\displaystyle{ y_i = \beta_{0} + \beta_1 x_{i1} + \beta_2 x_{i2} + \cdots + \beta_p x_{ip} + \epsilon_i }


ここで各変数は次のように定義されます。

  • y _ i：目的変数
  • x _ {i1}, x _ {i2}, \ldots, x _ {ip}：説明変数
  • \beta _ 0：切片
  • \beta _ 1, \beta _ 2, \ldots, \beta _ p：各説明変数の回帰係数（説明変数が目的変数に与える影響の大きさ）
  • \epsilon _ i：誤差項（モデルが捉えきれない従属変数の変動。 N(0, \sigma^ 2)に従う。）


重回帰モデルの目的は、観測データに基づいてこれらの回帰係数 \beta _ 0, \beta _ 1, \ldots, \beta _ pを推定し、独立変数の値から従属変数の値を予測することです。

このモデルを用いることで、複数の独立変数が従属変数にどのように影響しているかを分析することができます。




2. 最小二乗推定と正規方程式

最小二乗推定により、 \beta _ 1,\beta _ 2,\ldots,\beta _ pの推定量を求めるには、次の式を最小化します。

\displaystyle{ \begin{align} h(\boldsymbol{\beta}) = \sum_{i=1}^{n}(y_i - \beta_0 - \beta_1 x_i1 - \beta_2 x_i2 - \cdots - \beta_p x_ip)^2 \end{align} }


これを行列を用いて表現すると次のように表すことができます。

\displaystyle{ h(\boldsymbol{\beta}) = (\mathbf{y} - \mathbf{X}\boldsymbol{\beta})^\top (\mathbf{y} - \mathbf{X}\boldsymbol{\beta}) }


ここで各変数は次のように定義されます。

  • \mathbf{y}は n \times 1の目的変数ベクトル
  • \mathbf{X}は n \times (p+1)のデザイン行列（最初の列は1で、残りの列は各説明変数の値）
  • \boldsymbol{\beta}は (p+1) \times 1の回帰係数ベクトル
  • \boldsymbol{\epsilon}は n \times 1の誤差ベクトル


h(\boldsymbol{\beta})を展開すると次のようになります。

\displaystyle{ \begin{align} h(\boldsymbol{\beta}) &= (\mathbf{y} - \mathbf{X}\boldsymbol{\beta})^\top (\mathbf{y} - \mathbf{X}\boldsymbol{\beta}) \\ &= (\mathbf{y}^\top - \boldsymbol{\beta}^\top \mathbf{X}^\top)(\mathbf{y} - \mathbf{X}\boldsymbol{\beta}) \\ &= \mathbf{y}^\top\mathbf{y} - \mathbf{y}^\top\mathbf{X}\boldsymbol{\beta} - \boldsymbol{\beta}^\top\mathbf{X}^\top\mathbf{y} + \boldsymbol{\beta}^\top\mathbf{X}^\top\mathbf{X}\boldsymbol{\beta} \end{align} }


ここで、中間の2項は実際には同じ値になります。

ベクトルの転置のルールによりスカラー値になるためです。

これを用いると、 h(\boldsymbol{\beta})は次のように展開できます。

\displaystyle{ \begin{align} h(\boldsymbol{\beta}) = \mathbf{y}^\top\mathbf{y} - 2\mathbf{y}^\top\mathbf{X}\boldsymbol{\beta} + \boldsymbol{\beta}^\top\mathbf{X}^\top\mathbf{X}\boldsymbol{\beta} \end{align} }


この h(\boldsymbol{\beta})を \boldsymbol{\beta}に関して微分します。

微分の結果を0と置くと、次のようになります。

\displaystyle{ \begin{align} \frac{\partial S}{\partial \boldsymbol{\beta}} = - 2\mathbf{X}^\top\mathbf{y} + 2\mathbf{X}^\top\mathbf{X}\boldsymbol{\beta} = 0 \end{align} }


この式を整理すると、次の式が得られます。

\displaystyle{ \begin{align} \mathbf{X}^\top\mathbf{X}\boldsymbol{\beta} = \mathbf{X}^\top\mathbf{y} \end{align} }


この式は正規方程式と呼ばれます。


最終的に、正規方程式を回帰係数 \boldsymbol{\beta}に関して解くと、 \boldsymbol{\beta}が求まります。

\displaystyle{ \begin{align} \boldsymbol{\beta} = (\mathbf{X}^\top\mathbf{X})^{-1}\mathbf{X}^\top\mathbf{y} \end{align} }


これにより、説明変数と目的変数間の関係を定量的に表現する回帰係数の最小二乗推定値を求めることができます。




3. 重相関係数

重相関係数は、1つの目的変数と2つ以上の説明変数の間の関連の強さを測る指標です。

重回帰分析において使用され、複数の予測変数が目的変数にどれだけの影響を与えるかを示します。


重相関係数 Rは、 0から 1までの値を取り、値が大きいほど予測変数と目的変数の間に強い相関があることを示します。

具体的には、全変動のうち、予測変数によって説明される変動の割合を示しています。


重相関係数 Rは以下の式で計算されます。

\displaystyle{ \begin{align} R &= \sqrt{\frac{\sum_{i=1}^{n} (\hat{y}_i - \bar{y})^2}{\sum_{i=1}^{n} (y_i - \bar{y})^2}} \\ &= \sqrt{\frac{S_R}{S_T}} \end{align} }


ここで各変数は次のように定義されます。

  • S _ R（回帰平方和）は、予測モデルによって説明される変動の量を示します。
  • S _ T（全変動平方和）は、従属変数の全変動の量を示します。