Tuning-Parameterbereich für Lasso und Ridge

7

Bei der linearen Regression von Grat und Lasso besteht ein wichtiger Schritt darin, den Abstimmungsparameter Lambda zu wählen. Oft verwende ich die Rastersuche auf der Protokollskala von -6-> 4, sie funktioniert gut auf Grat, aber auf Lasso sollte ich die Reihenfolge berücksichtigen der Größe der Ausgabe y? Wenn die Ausgabe y beispielsweise im Nanomaßstab (-9) liegt, kann mein Suchbereich für log lambda -15 -> -5 sein.

Alle Eingabeparameter sind normalisiert und liegen innerhalb von -3,3

— user3450805
quelle

4

Ja, Sie sollten die Skalierung der Ausgabe berücksichtigen und auch die Skalierung der Kovariaten in berücksichtigen . $y$ $X$

Sei die Entwurfsmatrix, deren Zeilen Vektoren sind, wobei jeder Eintrag eine Kovariate ist, die zusammen versuchen , die Antwort zu erklären $X \in \mathbb{R}^{n \times p}$ $y \in \mathbb{R}^n$ . Jeder Eintrag der Antwort $y_i = f(e_i^T X) + \epsilon_i$ (zum $i = 1, \dots, n$ ) besteht additiv aus einem Signal, das von den Kovariaten abhängt, und einem mittleren Nullrauschen. Auswahl der Modellierung des Signals $f$ als annähernd linear führt uns zur LASSO-Schätzung

{\hat{β}}_{λ} = \arg min_{β} \frac{1}{2 n} ‖ y - X β ‖_{2}^{2} + λ ‖ β ‖_{1},

$\hat \beta_\lambda = \arg\min_\beta \frac{1}{2n} \|y-X\beta\|_2^2 + \lambda \|\beta\|_1,$ Wir wissen durch Bedingungen erster Ordnung, dass , wobei ist die duale Variable, die erfüllt wenn und wenn .

\frac{- 1}{n} X^{T} (y - X {\hat{β}}_{λ}) = λ {\hat{z}}_{λ}

$\frac{-1}{n} X^T (y - X \hat \beta_\lambda) = \lambda \hat{z}_\lambda$

{\hat{z}}_{λ}

$\hat{z}_\lambda$

{\hat{z}}_{λ, j} = s g n ({\hat{β}}_{λ, j})

$\hat{z}_{\lambda,j} = sgn(\hat{\beta}_{\lambda, j})$

{\hat{β}}_{λ, j} \neq 0

$\hat{\beta}_{\lambda, j} \neq 0$

{\hat{z}}_{λ, j} \in [- 1, 1]

$\hat{z}_{\lambda, j} \in [-1,1]$

{\hat{β}}_{λ, j} = 0

$\hat{\beta}_{\lambda, j} = 0$

Anstecken in diese Gleichung sehen wir , dass , wodurch $\hat{\beta}_\lambda = 0$ $\frac{-1}{n} X^T y = \lambda \hat{z}_\lambda$

\frac{1}{n} ‖ X^{T} y ‖_{\infty} = λ ‖ {\hat{z}}_{λ} ‖_{\infty} .

$\frac{1}{n} \|X^T y \|_\infty = \lambda \|\hat{z}_{\lambda}\|_\infty.$

Wenn , könnte abnehmen (wobei erhöht wird, um die Gleichheit aufrechtzuerhalten) und der LASSO Schätzung wäre immer noch . Daher erhalten wir bei , dem kleinsten Wert von , der , diesen $\|\hat{z}_\lambda\|_\infty \neq 1$ $\lambda$ $\|\hat{z}_\lambda\|_\infty$ $\hat{\beta}_\lambda = 0$ $\lambda_\mathrm{max}$ $\lambda$ $\hat{\beta}_{\lambda}=0$

\frac{1}{n} ‖ X^{T} y ‖_{\infty} = λ_{m a x} \cdot 1.

$\frac{1}{n} \|X^T y\|_\infty = \lambda_\mathrm{max} \cdot 1.$

Dies sagt uns, dass es nicht notwendig ist, zu berücksichtigen, wenn der LASSO eingestellt wird. In der Praxis standardisieren die meisten Löser die Spalten von so, dass sie nicht direkt berücksichtigt werden müssen. (Beachten Sie, dass es sinnvoll ist, die Kovariaten zu standardisieren, da die Maßeinheiten den geschätzten Koeffizienten nicht beeinflussen sollten.) $\lambda > \lambda_\mathrm{max}$ $X$

Der Gratfall wird hier gut diskutiert: Maximale Strafe für Gratregression

— user795305
quelle

3

Im R-Paket passt glmnetdie Funktion cv.glmnetein Modell an den gesamten Datensatz an, um einen geeigneten Regularisierungspfad auszuwählen, und führt dann eine Kreuzvalidierung unter Verwendung dieses Pfads durch. Dies scheint in der Praxis gut zu funktionieren.

— Sycorax sagt Reinstate Monica
quelle