リッジ回帰

${\textstyle n\times 1}$ の列ベクトル ${\textstyle y}$ は ${\textstyle n\times p}$ の計画行列 ${\textstyle X}$ （通常は${\textstyle p\ll n}$ ）の列空間に射影され、その列は高度に相関しているものとする。正射影 ${\textstyle X\beta }$ を得るための係数 ${\textstyle \beta \in \mathbb {R} ^{p\times 1}}$ の最小二乗推定量 ${\displaystyle {\widehat {\beta }}}$ は

${\displaystyle {\widehat {\beta }}=(X'X)^{-1}X'y}$

それに対して、リッジ回帰推定量 ${\displaystyle {\widehat {\beta }}_{\text{ridge}}}$ は

${\displaystyle {\widehat {\beta }}_{\text{ridge}}=(X^{\top }X+kI_{p})^{-1}X^{\top }y}$

ここで、${\textstyle I_{p}}$ は ${\textstyle p\times p}$ の単位行列であり、${\textstyle k>0}$ は小さい値である。