LASSO-Regularisierungsparameter vom LARS-Algorithmus

In ihrer wegweisenden Arbeit 'Least Angle Regression' beschreiben Efron et al. Eine einfache Modifikation des LARS-Algorithmus, mit der vollständige LASSO-Regularisierungspfade berechnet werden können.

$l_1$ $\Vert \beta \Vert_1$

Es scheint jedoch, dass die meisten verfügbaren Pakete den Regularisierungspfad in Bezug auf den LASSO-Bestrafungskoeffizienten bereitstellen (z. B. LARS in R, wo Sie mit dem Argument 'mode' spielen können, um zwischen verschiedenen Darstellungen zu wechseln). $\lambda$

Meine Frage ist: Mit welcher Mechanik wird von einer Darstellung zur anderen gewechselt. Ich habe verschiedene diesbezügliche Fragen gesehen (oder insbesondere das Problem der Zuordnung der Ungleichheitsbeschränkung zu einem geeigneten Bestrafungsbegriff ), aber keine zufriedenstellende Antwort gefunden. $\Vert \beta \Vert_1 \leq t$ $\lambda \Vert \beta \Vert_1$

[Bearbeiten]

Ich habe in einig MATLAB - Code sieht , dass führt die erforderliche Transformation und für jeden LARS Schritt , das ist , wie berechnet zu werden scheint: $k$ $\lambda$

λ (k) = max (2 | X^{T} y |), for k = 1

$\lambda(k) = \max( 2 \vert X^T y \vert ),\ \ \ \text{for } k=1$

λ (k) = median (2 | X_{A_{k}}^{T} r_{A_{k}} |), \forall k > 1

$\lambda(k) = \text{median}( 2 \vert X_{\mathcal{A}_k}^T r_{\mathcal{A}_k} \vert ),\ \ \ \forall k > 1$

wobei $X$ (Größe $n \times p$ ) und $y$ (Größe $n \times 1$ ) die standardisierten Eingaben / Antworten bezeichnen, $\mathcal{A}_k$ den aktiven Prädiktorsatz in Schritt $k$ und $r$ den aktuellen Regressionsrest in Schritt $k$ .

Ich kann die Logik hinter dieser Berechnung nicht verstehen. Könnte jemand helfen?

— Quantuple
quelle

Ich habe herausgefunden, wie die erforderliche Konvertierung durchgeführt werden soll.

Angenommen, die Eingänge sind standardisiert (Mittelwert Null, Einheitsvarianz) und die Antworten sind zentriert. $X$ $y$

Wir wissen, dass der modifizierte LARS-Algorithmus den vollständigen LASSO-Regularisierungspfad bereitstellt, vgl. Originalarbeit von Efron et al .

Dies bedeutet, dass der frühere Algorithmus bei jeder Iteration ein optimales Paar das die regulierte Verlustfunktion minimiert: $k$ $(\beta^*, \lambda^*)$

\begin{aligned} (β^{*}, λ^{*}) & = {argmin}_{(β, λ)} L (β, λ) \\ L (β, λ) & = ‖ y - X β ‖_{2}^{2} + λ ‖ β ‖_{1} \\ = \sum_{i = 1}^{N} {(y_{i} - \sum_{j = 1}^{p} β_{j} X_{i j})}^{2} + λ \sum_{j = 1}^{p} | β_{j} | \end{aligned}

$\begin{align} (\beta^*, \lambda^*) &= \text{argmin}_{(\beta,\lambda)} L(\beta,\lambda) \\ L(\beta,\lambda) &= \Vert y-X\beta \Vert_2^2 + \lambda \Vert \beta \Vert_1 \\ &= \sum_{i=1}^N \left(y_i - \sum_{j=1}^p \beta_j X_{ij}\right)^2 + \lambda \sum_{j=1}^p \vert \beta_j \vert \end{align}$

Für alle aktiven Komponenten in der aktiven Menge am Ende von Schritt ergibt das Anwenden der KKT-Stationaritätsbedingung $a=\{1,...,q\}$ $\mathcal{A}_k$ $k$

\begin{aligned} 0 & = \frac{\partial L}{\partial β_{a}} (β^{*}, λ^{*}) \\ = - 2 \sum_{i = 1}^{N} X_{i a} (y_{i} - \sum_{j = 1}^{q} β_{j}^{*} X_{i j}) + λ^{*} sign (β_{a}^{*}) \end{aligned}

$\begin{align} 0 &= \frac{\partial L}{\partial \beta_a}(\beta^*,\lambda^*) \\ &= -2 \sum_{i=1}^N X_{ia} \left(y_i - \sum_{j=1}^q \beta_j^* X_{ij}\right) + \lambda^*\ \text{sign}(\beta_a^*) \end{align}$

Mit anderen Worten oder in Matrixnotationen (unter Hinweis darauf, dass das Teilen / Multiplizieren mit ist) ist die folgende Gleichung für jede aktive Komponente erfüllt :

λ^{*} = 2 \frac{\sum_{i = 1}^{N} X_{i a} (y_{i} - \sum_{j = 1}^{q} β_{j}^{*} X_{i j})}{sign (β_{a}^{*})}

$\lambda^* = 2 \frac{\sum_{i=1}^N X_{ia} \left(y_i - \sum_{j=1}^q \beta_j^* X_{ij}\right)}{\text{sign}(\beta_a^*)}$

sign (x)

$\text {sign}(x)$ $a$

λ^{*} = 2 sign (β_{a}^{*}) X_{a}^{T} r

$\lambda^* = 2 \ \text{sign}(\beta_a^*) X_a^T r$

In der Originalarbeit erwähnen die Autoren, dass für jede Lösung des LASSO-Problems das Vorzeichen eines aktiven Regressionsgewichts ( ) mit dem Vorzeichen der Korrelation des entsprechenden aktiven Prädiktors mit dem aktuellen Regressionsrest ( ) identisch sein sollte ), was nur logisch ist, da positiv sein muss. So können wir auch schreiben: $\beta_a^*$ $X_a^T r$ $\lambda^*$

λ^{*} = 2 | X_{a}^{T} r |

$\lambda^* = 2 \vert X_a^T r \vert$

Außerdem sehen wir, dass wir im letzten Schritt (OLS-Anpassung, ) aufgrund des Orthogonalitäts-Lemmas . Die Verwendung des Medians in der MATLAB-Implementierung, die ich IMHO gefunden habe, scheint ein Versuch zu sein, numerische Fehler über alle aktiven Komponenten heraus zu mitteln: $k$ $\beta^* = (X^TX)^{-1}X^T y$ $\lambda^* = 0$

$λ^{*} = median (2 | X_{A_{k}}^{T} r_{A_{k}} |), \forall k > 1$ $\lambda^* = \text{median}( 2 \vert X_{\mathcal{A}_k}^T r_{\mathcal{A}_k} \vert ),\ \ \ \forall k > 1$

Um den Wert von zu berechnen, wenn keine aktiven Komponenten vorhanden sind (Schritt ), kann der gleiche Trick wie oben verwendet werden, jedoch in der infinitesimalen Grenze, in der alle Regressionsgewichte Null sind und nur das Vorzeichen der ersten Komponente wird aktiv (in Schritt ) ist wichtig. Dies ergibt: $\lambda$ $k=1$ $b$ $k=2$

λ^{*} = 2 sign (β_{b}^{*}) X_{b}^{T} y

$\lambda^* = 2 \ \text{sign}(\beta_b^*) X_b^T y$ was genau äquivalent zu ist

$λ^{*} = max (2 | X^{T} y |), for k = 1$ $\lambda^* = \max(2 \vert X^T y \vert), \text { for } k=1$

weil (i) dieselbe Bemerkung wie zuvor bezüglich des Vorzeichens von Regressionsgewichten; (ii) der LARS-Algorithmus bestimmt die nächste Komponente um in die aktive Menge einzutreten, als diejenige, die am stärksten mit dem aktuellen Rest korreliert , der in Schritt einfach . $b$ $k=1$ $y$

— Quantuple
quelle

Dies ist etwas, das in jeder LASSO-Arbeit erwähnt wird, aber niemand möchte es erklären (ich weiß nicht, ob es sehr einfach ist oder was, aber ich habe viel Zeit gebraucht, um es herauszufinden). Ich möchte nur betonen, dass Sie, obwohl "äquivalent", nur dann von einer Formulierung zur anderen wechseln können (beschränkt auf uneingeschränkt und umgekehrt), wenn Sie das Optimierungsproblem gelöst haben und die optimalen Gewichte haben.

— Skd

Ich fühle mich gleich! Was Ihre Bemerkung betrifft, ja. Dies spiegelt sich hier im Rest wider , der erst berechnet werden kann, wenn am Ende von Schritt die optimalen Regressionsgewichte wurden .

r_{A_{k}}

$r_{\mathcal{A}_k}$

β_{k}

$\beta_k$

k

$k$

— Quantuple