LASSO-Beziehung zwischen

Mein Verständnis der LASSO-Regression ist, dass die Regressionskoeffizienten ausgewählt werden, um das Minimierungsproblem zu lösen:

min_{β} ‖ y - X β ‖_{2}^{2} s . t . ‖ β ‖_{1} \leq t

$\min_\beta \|y - X \beta\|_2^2 \ \\s.t. \|\beta\|_1 \leq t$

In der Praxis wird dies mit einem Lagrange-Multiplikator durchgeführt, wodurch das Problem gelöst werden muss

min_{β} ‖ y - X β ‖_{2}^{2} + λ ‖ β ‖_{1}

$\min_\beta \|y - X \beta\|_2^2 + \lambda \|\beta\|_1$

Wie ist die Beziehung zwischen und ? Wikipedia gibt unbeholfen einfach an, dass dies "datenabhängig" ist. $\lambda$ $t$

Warum kümmert es mich? Erstens aus intellektueller Neugier. Ich bin aber auch besorgt über die Konsequenzen für die Auswahl von durch Kreuzvalidierung. $\lambda$

Insbesondere wenn ich eine n-fache Kreuzvalidierung durchführe, passe ich n verschiedene Modelle an n verschiedene Partitionen meiner Trainingsdaten an. Ich vergleiche dann die Genauigkeit jedes Modells anhand der nicht verwendeten Daten für ein gegebenes . Das gleiche impliziert jedoch eine unterschiedliche Einschränkung ( ) für unterschiedliche Teilmengen der Daten (dh ist "datenabhängig"). $\lambda$ $\lambda$ $t$ $t=f(\lambda)$

$t$

$\|\beta\|_1$ $\lambda$ $t$ $t>>0$

— ConstantAmateur
quelle

Upvoting, um das ungeklärte Downvote aufzuheben. Die Frage liegt weit außerhalb meines Fachwissens, scheint aber vernünftig formuliert zu sein.

— mkt - Stellen Sie Monica

Dies ist die Standardlösung für die Gratregression :

β = {(X^{'} X + λ I)}^{- 1} X^{'} y

$\beta = \left( X'X + \lambda I \right) ^{-1} X'y$

$\| \beta \| = t$

‖ {(X^{'} X + λ I)}^{- 1} X^{'} y ‖ = t

$\| \left( X'X + \lambda I \right) ^{-1} X'y \| = t$

$\lambda$

$t$ $\lambda$

— Shadowtalker
quelle