top of page
shigeokumata

ラッソ回帰について

更新日:4月17日

 回帰分析手法の一つにラッソ回帰(Lasso、LASSO)があります。


(ラッソ回帰と同様に、リッジ回帰というのがありますが、どちらも重回帰分析の進化形で、両者は双子のような関係にあります。いずれも重回帰分析を過学習が起こりにくいように改良したというものです。重回帰分析では、損失関数(予測値と目的変数の2乗和誤差)が最小になるように回帰係数を推定しますが、これに加えて、回帰係数そのものが大きくなることを避ける工夫が施されています。ラッソ(Lasso)はL1、リッジ(Ridge)はL2とも呼ばれています。)


 ラッソ回帰(ラッソかいき、least absolute shrinkage and selection operator、Lasso、LASSO)は、変数選択と正則化の両方を実行し、生成する統計モデルの予測精度と解釈可能性を向上させる回帰分析手法です。ラッソ回帰は、与えられた共変量の一部のみ最終モデルで使用することにより、回帰モデルの予測精度と解釈可能性を向上させるために導入されました。(1986年に地球物理学の文献で最初に導入され、その後1996年にロバート・ティブシラニ(英語版) が独自に再発見して一般化しました。)


 ラッソ回帰以前は、段階的選択が変数選択に広く用いられていました。これは、少数の共変量のみが結果と強い関係がある場合などには予測精度を向上させますが、それ以外の場合は、予測誤差を悪化させる可能性があります。 一方、大きな回帰係数を縮小して過剰適合を減らすリッジ回帰についても予測精度を向上させるために用いられていましたが、リッジ回帰においては共変量選択を実行しません。


 ラッソ回帰は、回帰係数の絶対値の合計を固定値よりも小さくすることでこれらの目標を両方とも達成できます。これにより、特定の係数が強制的にゼロに設定され、これらの係数を含まないより単純なモデルが効果的に選択されます。この考え方は、リッジ回帰に似ていますが、リッジ回帰の場合は係数のサイズを縮小するだけであり、ゼロに設定することはありません。


 ラッソ回帰(L1正則化)は、多くの特徴量の重みを完全に0にしてパラメータを削る手法としてよく知られています。




最新記事

すべて表示

Comments


bottom of page