Lasso回帰の有効性をシミュレーションで確認 ~多重共線性のあるデータに対して~
機械学習の分野では、変数が多いデータを扱うことが多く、そのようなデータを扱うと多重共線性が発生することがあります。その際、多重共線性を回避する手法であるLassoをはじめとする正則化回帰が用いられることがあります。 JMP Proでは「一般化回帰」という手法としてこの正則化回帰を利用でき、パラメータ推定値(回帰係数)を収縮や変数選択によって、多重共線性を影響を抑えた安定したモデル推定が可能になります。 以下の図は、Lassoによって回帰係数が収縮されたときの様子を示しています。レポート「元の説明変数に対する推定値」を見ると、効果の小さい説明変数は0(ゼロ)に収縮されており、Lassoが変数選択を行っていることが確認できます。 では、多重共線性が存在するデータについて、Lasso回帰はどのように有効なのでしょうか。本記事では、応答(Y)との真の関係をあらかじめ定めた仮想データを用い...