回帰分析手法の一つにリッジ回帰分析(Ridge regression)があります。
(リッジ回帰分析と同様に、ラッソ回帰分析というのがありますが、どちらも重回帰分析の進化形で、両者は双子のような関係にあります。いずれも重回帰分析を過学習が起こりにくいように改良したというものです。重回帰分析では、損失関数(予測値と目的変数の2乗和誤差)が最小になるように回帰係数を推定しますが、これに加えて、回帰係数そのものが大きくなることを避ける工夫が施されています。ラッソ(Lasso)はL1、リッジ(Ridge)はL2とも呼ばれています。)
リッジ回帰(リッジかいき、Ridge regression)は、独立変数が強く相関している場合に、重回帰モデルの係数を推定する方法です。主に計量経済学、化学、工学などの分野で使用されています。
この理論は、1970年に Hoerl と ケナード が Technometrics の論文で初めて紹介されました。これは、リッジ分析の分野における 10 年間の研究の結果でした。
リッジ回帰は、線形回帰モデルに多重共線性がある(強く相関する独立変数がある)場合に最小二乗推定量が不正確になることを解決するために開発されました。リッジ回帰推定量は、最小二乗推定量よりも精度が高いものです。
リッジ回帰(L2正則化)は、おおきな特徴量にペナルティを科して過学習を防ぐ手法としてよく知られています。
Comments