[機械学習の流れ]
1. 訓練データを用いた学習
2. 訓練誤差の算出 (Training error)
3. 新しいデータの入力
4. 汎化誤差の算出 (Generalization/Test error)
一般的な最適化は2を小さくする事
機械学習は4を小さくする事
汎化誤差を最小化するために、
1. 訓練誤差を小さくする事
2. 訓練誤差と汎化誤差の差を小さくする事
を同時に行う。
1が不十分な場合を過少適合
有限の訓練を繰り返しすぎて、2が乖離してきた場合を過剰適合という
2を最小化するために、敢えて1を最小化せず、早めに訓練を終えてしまう場合もある(早期終了)
過剰適合を起こさないように正則化項(Regularizer)を導入する場合もある
重み減衰(Weight decay)を用いた正則化が一般的
2次のノルムを用いた正則化 : \(L^2\)正則化 (リッジ回帰、ティホノフ回帰)
1次のノルムを用いた正則化 : \(L^1\)正則化 (LASSOモデル)
\(L^1\)と\(L^2\)の和を使用したものがElastic Net
ちなみにスパースモデリングとは、すかすかモデリングという意味で、少ない情報から全体像を的確に表現するモデリングの事を意味するそうです。