Regularisierung und Projektion auf die

Ich versuche zu verstehen , wie Regularisierung in der Bezeichnung der Projektionen auf ein Werk $l_*$ Kugel und euklidische Projektion auf die simplex.

Ich bin mir nicht sicher, ob ich verstehe, was wir meinen, wenn wir den Gewichtsvektor auf die $l_1$ oder $l_2$ Bälle projizieren .

Ich kann das Konzept der $l_1$ Regularisierungsprogrammatik verstehen , indem wir jedes Element im Gewichtsvektor durchgehen und signum(w) * max(0.0, abs(w) - shrinkageValue)wo anwenden shrinkageValue = regularizationParameter * eta, wodurch kleine Gewichte auf 0 getrieben werden.

Ich vermisse hier wohl etwas Mathematik, also ist meine Frage, wie wir die Projektion des Vektors in das Programm übersetzen, das ich gerade beschrieben habe. Wie hängen Regularisierung und Vektorprojektionen zusammen?

Bearbeiten: Ich versuche, dieses Papier Effiziente Projektionen auf den $l_1$ -Ball zum Lernen in hohen Dimensionen durchzugehen

optimization regularization projection

— Bar
quelle

Regularisierung und Vektorprojektionen sind durch die Idee der eingeschränkten Optimierung und die Karush-Kuhn-Tucker-Bedingungen (keine Beziehung) verbunden .

Was sind die KKT-Bedingungen?

Kurz gesagt, diese besagen, dass, wenn eine Lösung für das Problem "Minimieren von Berücksichtigung von " ist, auch eine Lösung für das Problem für einen Skalar . Aber dies ist äquivalent zu der Aussage , was bedeutet , dass $x$ $f(x)$ $g(x) \le 0$ $x$ $\nabla f(x) = \lambda \nabla g(x)$ $\lambda$ $\nabla f(x) - \lambda \nabla g(x) = 0$ $x$ minimiert das uneingeschränkte Optimierungsproblem "minimiere ". $f(x) - \lambda g(x)$

Die Intuition ist, dass entweder:

. In diesem Fall ist eine "innere Lösung", daher muss der Gradient von an diesem Punkt Null sein. (Wenn es nicht Null wäre, könnten wir uns von aus ein wenig in diese Richtung bewegen, während , und einen höheren Wert für . Dann setzen wir und wir sind erledigt. $g(x) < 0$ $x$ $f$ $x$ $g(x) < 0$ $f(x)$ $\lambda = 0$
Oder . In diesem Fall befindet sich am Rand des möglichen Lösungsraums. Lokal sieht diese Kante wie eine Hyperebene aus, die orthogonal zum Gradienten , da die Art und Weise, wie Sie die Einschränkung beibehalten , darin besteht, den Gradienten überhaupt nicht nach oben oder unten zu bewegen. Dies bedeutet jedoch, dass die einzige Richtung, in die der Gradient möglicherweise zeigen könnte, genau dieselbe Richtung wie wenn er eine Komponente hätte, die orthogonal zu , könnten wir bewegen $g(x) = 0$ $x$ $\nabla g(x)$ $g(x) = 0$ $\nabla f$ $\nabla g$ $\nabla g$ $x$ ein wenig in diese Richtung, bleibe auf der orthogonalen Hyperebene und erhöhe . $g(x) = 0$ $f(x)$

Wie die KKT-Bedingungen die Beziehung zwischen eingeschränkter Minimierung und Regularisierung erklären

$g(x) = |x| - c$ $c$ $g(x) \le 0$ $x$ $c$ $\lambda g(x)$ $\lambda |x| + \lambda c$ $\lambda c$

Menschen nutzen oft diese "Dualität" zwischen uneingeschränkter und eingeschränkter Optimierung. Ein Beispiel, das ich durch Googeln schnell finden konnte, finden Sie unter Auf dem LASSO und seinem Dual .

Warum sind Projektionen hier wichtig?

OK, warum schreibt jemand eine Arbeit über schnelle Projektionen?

$f(x)$ $x \in X$

$f(x)$
$x_0$
$x_0^\prime \leftarrow step(x_0)$
$X$ $x_1 \leftarrow P_X(x_0^\prime)$
Und bis zur Konvergenz wiederholen.

$P_X$

Alles zusammenfügen

\arg min_{β} (y - β^{'} X)^{2} + λ | | β | |_{1}

$\arg\min_\beta (\mathbf{y} - \beta^\prime \mathbf{X})^2 + \lambda ||\beta||_1$

Das ist die uneingeschränkte Version. Unter den KKT-Bedingungen entspricht das Hinzufügen des Regularisierungsterms der Einschränkung, dass die Lösung für eine Konstante in . Aber das ist nur der Ball mit Radius ! $||\beta||_1 \le c$ $c$ $\ell_1$ $c$

Sie können sich also vorstellen, dies mit einem projizierten (Sub-) Gradientenabstieg zu lösen. * Wenn Sie dies tun würden, wäre Ihre Funktion eine Projektion auf den Einheitskugel, und Sie möchten dies schnell machen. $P_X$

* Ich glaube nicht, dass die Leute dies tatsächlich tun, weil es effizientere Wege gibt. Diese könnten aber auch Projektionen verwenden. BEARBEITEN: Wie @Dougal hervorhebt, war eine komplexere Variante des projizierten Abstiegs unter dem Gefälle gut genug, um 2008 eine Arbeit darüber zu schreiben.

— Ben Kuhn
quelle

Der ISTA / FISTA- Algorithmus ist im Grunde genommen ein (beschleunigter) projizierter subgradienter Abstieg, der vielleicht nicht der beliebteste LASSO-Algorithmus ist, aber ziemlich gut (und ich denke, er war um 2008, als dieser Artikel veröffentlicht wurde, Stand der Technik).

— Dougal

@ Dougal: Danke für den Hinweis! Ich habe es in bearbeitet.

— Ben Kuhn