Warum L1-Norm für spärliche Modelle?

97

Ich lese die Bücher über lineare Regression. Es gibt einige Sätze zur L1- und L2-Norm. Ich kenne sie, verstehe nur nicht, warum L1-Norm für spärliche Modelle. Kann jemand eine einfache Erklärung geben?

— Yongwei Xing
quelle

4

Grundsätzlich wird die Sparsamkeit durch scharfe Kanten hervorgerufen, die auf der Achse einer Isofläche liegen. Die beste grafische Erklärung, die ich bisher gefunden habe, ist in diesem Video: youtube.com/watch?v=sO4ZirJh9ds

— felipeduque

1

Es gibt einen Blog-Artikel auf dem gleichen chioka.in/…

— prashanth

Überprüfen Sie den folgenden Beitrag von Medium. Es könnte medium.com/@vamsi149/…

— solver149

111

Man betrachte den Vektor wobei klein ist. Die und Normen von sind gegeben durch $\vec{x}=(1,\varepsilon)\in\mathbb{R}^2$ $\varepsilon>0$ $l_1$ $l_2$ $\vec{x}$

| | \vec{x} | |_{1} = 1 + ε, | | \vec{x} | |_{2}^{2} = 1 + ε^{2}

$||\vec{x}||_1 = 1+\varepsilon,\ \ ||\vec{x}||_2^2 = 1+\varepsilon^2$

Nehmen wir nun an, dass wir im Rahmen einer Regularisierung eines der Elemente von um verkleinern . Wenn wir in ändern , ergeben sich folgende Normen $\vec{x}$ $\delta\leq\varepsilon$ $x_1$ $1-\delta$

| | \vec{x} - (δ, 0) | |_{1} = 1 - δ + ε, | | \vec{x} - (δ, 0) | |_{2}^{2} = 1 - 2 δ + δ^{2} + ε^{2}

$||\vec{x}-(\delta,0)||_1 = 1-\delta+\varepsilon,\ \ ||\vec{x}-(\delta,0)||_2^2 = 1-2\delta+\delta^2+\varepsilon^2$

Auf der anderen Seite ergibt die Reduzierung von um Normen $x_2$ $\delta$

| | \vec{x} - (0, δ) | |_{1} = 1 - δ + ε, | | \vec{x} - (0, δ) | |_{2}^{2} = 1 - 2 ε δ + δ^{2} + ε^{2}

$||\vec{x}-(0,\delta)||_1 = 1-\delta+\varepsilon,\ \ ||\vec{x}-(0,\delta)||_2^2 = 1-2\varepsilon\delta+\delta^2+\varepsilon^2$

Hier ist zu beachten, dass für eine Strafe das Regularisieren des größeren Terms zu einer viel stärkeren Reduzierung der Norm führt als dies beim kleineren Term . Für die Strafe ist die Reduzierung jedoch gleich. Wenn ein Modell mit der Norm , ist es sehr unwahrscheinlich, dass jemals etwas auf Null gesetzt wird, da die Verringerung der Norm von auf fast nicht vorhanden ist, wenn klein ist. Andererseits ist die Reduzierung von norm immer gleich $l_2$ $x_1$ $x_2\approx 0$ $l_1$ $l_2$ $l_2$ $\varepsilon$ $0$ $\varepsilon$ $l_1$ $\delta$ unabhängig von der zu bestrafenden Menge.

Eine andere Sichtweise: Es ist nicht so sehr so, dass Strafen die Sparsamkeit fördern, sondern dass Strafen in gewisser Weise die Sparsamkeit mindern, indem sie zu sinkenden Renditen führen, wenn Elemente näher an Null gebracht werden. $l_1$ $l_2$

— bnaul
quelle

3

Danke für deine Antwort! Der letzte Punkt überzeugt mich allerdings nicht. Wenn Sie eine nicht bestrafte lineare Regression ausführen, erhalten Sie kaum spärliche Lösungen (während das Hinzufügen einer L1-Strafe häufig zu geringer Wahrscheinlichkeit führt). L1-Strafen fördern also in der Tat die Sparsamkeit, indem sie Koeffizienten senden, die genau von null bis null beginnen.

— Stefan Wager

2

@StefanWager Vielleicht ist es ein bisschen übertrieben, aber ich denke, es ist wahr, dass die Strafe hier nichts Besonderes ist: Eine Strafe für jedes führt auch zu Sparsamkeit, aber Sie sehen diese in der Praxis weniger häufig (wahrscheinlich, weil sie nicht konvex sind). Wenn Sie wirklich nur Sparsamkeit wollen, dann ist eine Strafe (proportional zur Anzahl der Nicht-Null-Einträge) der Weg, es kommt einfach so vor, dass es ein Albtraum ist, damit zu arbeiten.

l_{1}

$l_1$

l_{α}

$l_\alpha$

α \leq 1

$\alpha\leq1$

l_{0}

$l_0$

— bnaul

1

Ja das ist richtig. Es gibt viele Normen, die zu Sparsamkeit führen (z. B., wie Sie erwähnt haben, jede Lp-Norm mit p <= 1). Im Allgemeinen führt jede Norm mit einer scharfen Ecke bei Null zu Sparsamkeit. Zurück zur ursprünglichen Frage: Die L1-Norm induziert Sparsamkeit, indem sie einen diskontinuierlichen Gradienten bei Null aufweist (und jede andere Strafe mit dieser Eigenschaft wird dies auch tun).

— Stefan Wager

3

Für den Fall, dass jemand mehr lesen möchte, gibt es eine aktive Literatur zu nicht konvexen Straffunktionen , die Alternativen zur L1-Norm darstellen (z. B. kürzlich papers.nips.cc/paper/… ).

— Stefan Wager

1

Tolle Antwort, ich habe mich schon eine Weile gefragt, bis ich das gefunden habe.

— Hady Elsahar

72

Bei einem spärlichen Modell denken wir an ein Modell, bei dem viele der Gewichte 0 sind. Lassen Sie uns daher überlegen, wie L1-Regularisierung mit höherer Wahrscheinlichkeit zu 0-Gewichten führt.

Betrachten Sie ein Modell, das aus den Gewichten . $(w_1, w_2, \dots, w_m)$

Mit der L1-Regularisierung bestrafen Sie das Modell mit einer Verlustfunktion =. $L_1(w)$ $\Sigma_i |w_i|$

Mit der L2-Regularisierung bestrafen Sie das Modell mit einer Verlustfunktion = $L_2(w)$ $\frac{1}{2} \Sigma_i w_i^2$

Wenn Gradientenabfallsaktualisierung verwendet, werden Sie iterativ die Gewichte machen in der entgegengesetzten Richtung des Gradienten mit einer Schrittweite ändern mit dem Gradienten multipliziert. Dies bedeutet, dass ein steilerer Gradient uns einen größeren Schritt machen lässt, während ein flacherer Gradient uns einen kleineren Schritt machen lässt. Betrachten wir die Gradienten (Subgradient bei L1): $\eta$

$\frac{dL_1(w)}{dw} = sign(w)$ , wobei $sign(w) = (\frac{w_1}{|w_1|}, \frac{w_2}{|w_2|}, \dots, \frac{w_m}{|w_m|})$

$\frac{dL_2(w)}{dw} = w$

Wenn wir die Verlustfunktion zeichnen und sie für ein Modell ableiten, das nur aus einem einzigen Parameter besteht, sieht sie für L1 folgendermaßen aus:

Bildbeschreibung hier eingeben

Und so für L2:

Beachten Sie, dass für der Gradient entweder 1 oder -1 ist, außer wenn . Das bedeutet, dass die L1-Regularisierung jedes Gewicht mit derselben Schrittgröße in Richtung 0 bewegt, unabhängig vom Gewichtswert. Im Gegensatz dazu können Sie sehen, dass der Gradient linear in Richtung 0 abnimmt, wenn das Gewicht in Richtung 0 geht. Daher verschiebt die L2-Regularisierung auch jedes Gewicht in Richtung 0, nimmt jedoch immer kleinere Schritte in wenn sich das Gewicht 0 nähert. $L_1$ $w_1 = 0$ $L_2$

Stellen Sie sich vor, Sie beginnen mit einem Modell mit und verwenden . In der folgenden Abbildung sehen Sie, wie der Gradientenabstieg mithilfe der L1-Regularisierung 10 der Aktualisierungen durchführt , bis ein Modell mit : $w_1 = 5$ $\eta = \frac{1}{2}$ $w_1 := w_1 - \eta \cdot \frac{dL_1(w)}{dw} = w_1 - \frac{1}{2} \cdot 1$ $w_1 = 0$

Bildbeschreibung hier eingeben

Im Gegensatz dazu ist bei L2-Regularisierung mit der Gradient , wodurch jeder Schritt nur zur Hälfte in Richtung 0 geht. Das heißt, wir führen die Aktualisierung Daher erreicht das Modell niemals eine Gewichtung von 0, unabhängig davon, wie viele Schritte wir ausführen: $\eta = \frac{1}{2}$ $w_1$ $w_1 := w_1 - \eta \cdot \frac{dL_2(w)}{dw} = w_1 - \frac{1}{2} \cdot w_1$

Bildbeschreibung hier eingeben

Beachten Sie, dass L2-Regularisierung kann ein Gewicht Null erreichen machen , wenn die Schrittgröße so hoch ist , dass es Null in einem einzigen Schritt erreicht. Selbst wenn die L2-Regularisierung allein 0 überschreitet oder unterschreitet, kann sie dennoch eine Gewichtung von 0 erreichen, wenn sie zusammen mit einer Zielfunktion verwendet wird, die versucht, den Fehler des Modells in Bezug auf die Gewichte zu minimieren. In diesem Fall ist das Finden der besten Gewichte des Modells ein Kompromiss zwischen dem Regularisieren (mit kleinen Gewichten) und dem Minimieren des Verlusts (Anpassen der Trainingsdaten), und das Ergebnis dieses Kompromisses kann sein, dass der beste Wert für einige Gewichte ist sind 0. $\eta$

— Kent Munthe Caspersen
quelle

3

Könnte jemand mir erklären, warum wir nicht in eine Endlosschleife, wenn wir Gewicht beginnen nehmen w1 = 5,1 statt 5 Sei w = 0,1, w> 0 daher unsere partielle Ableitung gleich 1 ist dann zweiter Schritt, jetzt w <0 => Ableitung = -1:Wir oszillieren also endlos in der Nähe von 0.

η = 0.5

$\eta = 0.5$

w_{f i r s t s t e p} = 0.1 - 0.5 * (+ 1) => w = - 0.4

$w_{first\text{ }step} = 0.1 - 0.5*(+1) => w = -0.4$

w_{s e c o n d s t e p} = - 0.4 - 0.5 * (- 1) = 0.1.

$w_{second step} = -0.4 - 0.5*(-1) = 0.1.$

— Alex Yashin

5

@AlexYashin das ist richtig - wenn wir nur die Gewichte basierend auf der L1-Regularisierung aktualisieren, könnten Gewichte entstehen, die nahe 0 oszillieren. Wir verwenden die Regularisierung jedoch niemals alleine, um die Gewichte anzupassen. Wir verwenden die Regularisierung in Kombination mit der Optimierung einer Verlustfunktion. Auf diese Weise werden die Gewichte durch die Regularisierung gegen Null verschoben, während gleichzeitig versucht wird, die Gewichte auf einen Wert zu verschieben, der die Vorhersagen optimiert. Ein zweiter Aspekt ist die Lernrate. Mit einer geringeren Lernrate können wir dem Wert so nahe kommen, dass die Regularisierung schwankt und wir ihn vernachlässigen können

— Kent Munthe Caspersen,

1

Warum dL2(w)/dwist "Modul" und nicht nur linear?

— Mrgloom

1

@mrgloom dL2(w)/dwkann als die Änderung L2(w)pro Gewichtsänderung gelesen werden . Da die L2-Regularisierung die Gewichte quadriert, L2(w)ändert sich bei gleicher Gewichtsänderung viel mehr, wenn wir höhere Gewichte haben. Aus diesem Grund ist die Funktion beim Plotten konvex. Für L1 ist die Änderung L1(w)pro Gewichtsänderung jedoch unabhängig von Ihren Gewichten dieselbe - dies führt zu einer linearen Funktion.

— Kent Munthe Caspersen

1

@ KentMuntheCaspersen Erstaunliche Erklärung! Vielen Dank für die Grafiken und den Aufwand, den Sie investiert haben, um diese intuitiv zu gestalten!

— Layser

15

Die Abbildung 3.11 aus Elements of Statistical Learning von Hastie, Tibshirani und Friedman ist sehr anschaulich:

Erklärungen: Der ist die uneingeschränkte Schätzung der kleinsten Quadrate. Die roten Ellipsen sind (wie in der Bildunterschrift erläutert) die Konturen der Fehlerfunktion der kleinsten Quadrate in Bezug auf die Parameter und . Ohne Einschränkungen wird die Fehlerfunktion im MLE minimiert und ihr Wert erhöht sich, wenn sich die roten Ellipsen ausdehnen. Die Diamant- und Scheibenregionen sind mögliche Regionen für die Lasso- Regression ( ) bzw. die Grat-Regression ( ). Heuristisch suchen wir für jede Methode nach dem Schnittpunkt der roten Ellipsen und der blauen Region, um die Fehlerfunktion zu minimieren und gleichzeitig die Machbarkeit aufrechtzuerhalten. $\hat{\beta}$ $\beta_1$ $\beta_2$ $\hat{\beta}$ $L_1$ $L_2$

ist klar zu erkennen, dass die Bedingung, die dem durch Diamant realisierbaren Bereich entspricht, aufgrund der geometrischen Eigenschaften mit größerer Wahrscheinlichkeit einen Schnittpunkt erzeugt, bei dem eine Komponente der Lösung null ist (dh das dünne Modell) von Ellipsen, Scheiben und Diamanten. Es ist einfach so, weil Diamanten Ecken haben (von denen eine Komponente Null ist), die sich leichter mit den Ellipsen schneiden lassen, die sich diagonal erstrecken. $L_1$

— Zhanxiong
quelle

16

Die Abbildung kann ohne zusätzliche Informationen nicht sehr überzeugen. ZB warum sollten die Konturen des Fehlers dort liegen, wo sie in der Figur sind?

— Wabbit

@HrishikeshGanu Irgendwann bekam ich etwas Zeit, um den Beitrag zu bearbeiten.

— Zhanxiong

Alle Konturen haben die gleiche Form ...

— kjetil b halvorsen

1

Beachten Sie, dass mit L1 Kanten nur dann bevorzugt werden, wenn über die Achsen und unterschiedliche Varianzen aufweist. Mit anderen Worten, wenn die Redline-Verteilung auf der diagonalen Achse nicht symmetrisch ist. Wenn es symmetrisch ist, hat die gesamte Kante den gleichen Abstand / Wert / Preis.

\hat{β}

$\hat{\beta}$

β_{1}

$\beta_1$

β_{2}

$\beta_2$

β_{1} = β_{2}

$\beta_1 = \beta_2$

— Tautvydas

13

Schauen Sie sich die Abbildung 3.11 (Seite 71) der Elemente des statistischen Lernens an . Es zeigt die Position einer nicht beschränkten , die die quadratische Fehlerfunktion minimiert, die Ellipsen, die die Ebenen der quadratischen Fehlerfunktion , und wo sind die Einschränkungen unterworfen und . $\hat \beta$ $\hat \beta$ $\ell_1 (\hat \beta) < t$ $\ell_2 (\hat \beta) < t$

Auf diese Weise können Sie geometrisch sehr gut nachvollziehen, dass Sie unter der einige erhalten. Dies liegt im Grunde daran, dass die Kugel "Kanten" auf den Achsen hat. $\ell_1$ $\ell_1$ $\{ x : \ell_1(x) \le 1\}$

Allgemeiner ist dieses Buch eine gute Referenz zu diesem Thema: sowohl streng als auch gut illustriert, großartige Erklärungen.

— Elvis
quelle

3

Ich denke, Ihr zweiter Absatz ist ein Schlüssel ... zumindest für meine Intuition: Eine 11 "Kugel" ist eher wie ein Diamant, der entlang der Achsen stachelig ist, was bedeutet, dass eine Hyperebene, die gezwungen ist, darauf zu treffen, eher eine Null hat die Achsen.

— Wayne

2

Ja, ich stelle mir den Optimierungsprozess als die Bewegung eines Punktes vor, der zwei Kräften ausgesetzt ist : Anziehung auf die ungezwungene dank der quadratischen Fehlerfunktion, Anziehung auf 0 Thaks nach der oder Norm. Hier verändert die "Geometrie" dieser Anziehungskraft das Verhalten des Punktes. Wenn Sie einen kleinen oder Ball reparieren, in dem er sich frei bewegen kann, gleitet er am Rand des Balls, um in die Nähe von . Das Ergebnis ist auf der Abbildung im vorgenannten Buch zu sehen ...

\hat{β}

$\hat \beta$

ℓ_{1}

$\ell_1$

ℓ_{2}

$\ell_2$

ℓ_{1}

$\ell_1$

ℓ_{2}

$\ell_2$

\hat{β}

$\hat \beta$

— Elvis

3

Das Buch ist gut, aber es erklärt nie, woher es kommt und was dahinter steckt.

— user13985

2

Eine einfache, nicht mathematische Antwort wäre:

Für L2: Die Strafzeit wird quadriert. Wenn Sie also einen kleinen Wert quadrieren , wird er kleiner. Wir müssen nicht null machen, um unser Ziel zu erreichen, einen minimalen quadratischen Fehler zu erhalten, wir werden ihn vorher bekommen.

Für L1: Penalty Begriff ist absolut , wir könnten müssen auf Null gehen , da es kein Katalysator klein kleiner zu machen .

Das ist meine Sichtweise.

— Arnab Mukherjee
quelle

Nicht sehr überzeugend für mich.

— Tyler 十三十三归玉门

2

Das Bild zeigt die Flächenformen, die von der L1- und L2-Norm eingenommen werden. Das zweite Bild besteht aus verschiedenen Verlaufskonturen für verschiedene Regressionsprobleme. Beachten Sie in allen Konturdiagrammen den roten Kreis, der den Kamm oder die L2-Norm schneidet. Der Schnittpunkt liegt nicht auf den Achsen. Der schwarze Kreis in allen Konturen repräsentiert denjenigen, der die L1-Norm oder das Lasso schneidet. Es schneidet sich relativ nahe an Achsen. Dies führt dazu, dass die Koeffizienten auf 0 gesetzt werden und somit eine Merkmalsauswahl erfolgt. Daher macht die L1-Norm das Modell spärlich.

Ausführlichere Erklärung unter folgendem Link: Klicken Sie auf In Richtung Data Science posten

— solver149
quelle

Dies ist eine gute Erklärung, aber ein zusätzlicher Kommentar zum Ausdruck von Beispielkostenfunktionen wäre auch nützlich. Das heißt, die Kreisform von -norm Fehlern erscheint intuitiv, die schmal-längliche Form (die auch in den meisten anderen Beispielen verwendet wird) erscheint jedoch nicht trivial und selbsterklärend. (Hier spreche ich von der Kostenfunktion oben links in Abb. 8 (b): Warum zeigt ihre Hauptrichtung zum Punkt und nicht etwa zu ? Die Konturen wären anders, und der Minimierungspunkt wäre nicht bei 0!)

ℓ_{2}

$\ell_2$

β_{1} = 1

$\beta_1 = 1$

β_{1} = 0

$\beta_1 = 0$

L_{1}

$L_1$

— Nutle