Weil Ihre "Strafe" -Darstellung des Minimierungsproblems nur die weitreichende Form eines Problems der Einschränkungsoptimierung ist:
Nehmen Sie zentrierte Variablen an. In beiden Fällen, Lasso und Ridge, ist Ihre uneingeschränkte Zielfunktion dann die übliche Summe der quadratischen Residuen. dh gegebene Regressoren, die Sie minimieren:
über alles .p
R S.S.( β ) =∑i = 1n(yich- ((xich , 1β1+ ⋯+xich , pβp))2.
β = (β1, … ,βp)
Im Fall einer Gratregression minimieren Sie so, dass
für einen Wert von . Für kleine Werte von es unmöglich, dieselbe Lösung wie im Standard-Szenario der kleinsten Quadrate abzuleiten. In diesem Fall minimieren Sie nur Denken Sie an dann an Die einzig mögliche Lösung kann .R. S.S.( β )
∑i = 1pβ2p≤tr i dGe,
tr i dGe≥ 0tr i dGeR. S.S.( β )tr i dGe= 0β1≡ ⋯ ≡βp= 0
Andererseits minimieren Sie im Fall des Lassos unter der Bedingung
für einen Wert von .R. S.S.( β)
∑i = 1p|βp| ≤tl a s s o,
tl a s s o≥ 0
Beide eingeschränkten Optimierungsprobleme können in Bezug auf ein nicht eingeschränktes Optimierungsproblem äquivalent dargestellt werden, dh für das Lasso: Sie können äquivalent minimieren
∑i = 1n(yich- ((xich , 1β1+ ⋯ +xich , pβp))2+λl a s s o∑i = 1p|βp| .