Quadratische Programmierung und Lasso

Ich versuche eine Lasso-Regression durchzuführen, die folgende Form hat:

Minimiere in $w$ $(Y - Xw)'(Y - Xw) + \lambda \;|w|_1$

Bei einem wurde mir geraten, das optimale mit Hilfe der quadratischen Programmierung zu finden, die die folgende Form annimmt: $\lambda$ $w$

Minimiere in , vorbehaltlich $x$ $\frac{1}{2} x'Qx + c'x$ $Ax \le b.$

Jetzt ist mir klar, dass der Term in den Constraint-Term , was ziemlich einfach ist. Ich sehe jedoch irgendwie nicht, wie ich den ersten Term der ersten Gleichung in den ersten Term der zweiten übertragen könnte. Ich konnte im Internet nicht viel darüber finden, also habe ich beschlossen, hier zu fragen. $\lambda$ $Ax \le b$

regression lasso quadratic-form

— spurra
quelle

Antworten:

Wenn man bedenkt , dass wir arbeiten mit als ' ' Variable in der Standardform, erweitern und collect Begriffe in und in und und Konstanten. $w$ $x$ $(Y - Xw)'(Y - Xw)$ $w'\, [\,_{^{^\text{something}}}]\,w$ $w'$ $w$

Erklären Sie, warum Sie die Konstanten ignorieren können.

Erklären Sie, warum Sie die Begriffe und kombinieren können . $w'$ $w$

Wie BananaCode inzwischen herausgefunden hat, können einige entweder und oder einfacher und (da und für jedes das gleiche Argmin haben ). $Q=2X'X$ $c=-2X'Y$ $Q=X'X$ $c=-X'Y$ $f(x)$ $kf(x)$ $k>0$

— Glen_b - Monica neu starten
quelle

Die Konstanten können ignoriert werden, denn wenn x_ das Minimum von f (x) ist, dann ist x_ + c das Minimum von f (x) + c, daher können wir die Konstante c ignorieren. Ich werde meine Frage bearbeiten, um zu zeigen, wo ich stecken geblieben bin.

— Spurra

BananaCode Ihre Erklärung hat mehrere Mängel. Wenn mit "ist das Minimum für

" Sie meinen "ist das Argument, bei dem

minimiert wird", sagen Sie etwas wie "

ist das

von

". Aber Ihre Schlussfolgerung dort ist falsch. Wenn Sie

hinzufügen , fügen Sie dem argmin kein

hinzu.

f (x)

$f(x)$

f (x)

$f(x)$

x^{*}

$x^*$

argmin

$\text{argmin}$

f

$f$

c

$c$

f

$f$

c

$c$

— Glen_b -State Monica

Sehen Sie, wo ich

in meiner Antwort? Was ist das,wasSie jetzt zwischen dem

und dem

am Ende Ihrer Frage haben?

w^{'} [something] w

$w'\, [\,\text{something}]\,w$

w^{'}

$w'$

w

$w$

— Glen_b -State Monica

Ja, ich meinte,

ist das

von

. Können Sie ein Beispiel geben, bei dem meine Schlussfolgerung falsch ist? Das

ist die

Matrix, die ich zu bilden versuche. Wenn ich

ausdehne

bekomme ich

x *

$x*$

a r g m i n

$argmin$

f

$f$

[s o m e t h i n g]

$[something]$

Q

$Q$

w^{'} (X^{'} X w - X^{'} Y)

$w'(X'Xw - X'Y)$

. Der erste Teil würde die Form der

Matrix darstellen, aber ich kann den zweiten Term

nicht loswerden.

w^{'} X^{'} X w - w^{'} X^{'} Y

$w'X'Xw - w'X'Y$

Q

$Q$

- w^{'} X^{'} Y

$-w'X'Y$

— Spurra

@ AD.Net Die Einschränkungen werden meistens in der anderen Antwort behandelt.

— Glen_b -State Monica

Ich wollte hinzufügen, wie man die Transformation der Einschränkungen löst in eine verwendbare Form für die quadratische Programmierung, da es nicht ganz so einfach ist, wie ich dachte. Es ist nicht möglich, eine reelle Matrix zu finden, so dass . $\sum |w_i| \le s$ $A$ $Aw \le s \leftrightarrow \sum |w_i| \le s$

Der Ansatz, den ich benutzte, bestand darin, die Elemente des Vektors in und aufzuteilen , so dass . Wenn , haben Sie und , sonst haben Sie und $w_i$ $w$ $w_i^+$ $w_i^-$ $w_i = w_i^+ - w_i^-$ $w_i \ge 0$ $w_i^+ = w_i$ $w_i^- = 0$ $w_i^- = |w_i|$ . Oder mathematischer ausgedrückt, $w_i^+ = 0$ und $w_i^+ = \frac{|w_i| + w_i}{2}$ Sowohl als auch sind nicht negative Zahlen. Die Idee hinter der Aufteilung der Zahlen ist, dass Sie jetzt , wodurch die absoluten Werte effektiv beseitigt werden. $w_i^- = \frac{|w_i| - w_i}{2}.$ $w_i^-$ $w_i^+$ $|w_i| = w_i^+ + w_i^-$

Die zu optimierende Funktion wird zu: , vorbehaltlich $\frac{1}{2}(w^+ - w^-)^TQ(w^+ - w^-) + c^T(w^+ - w^-)$ $w_i^+ + w_i^- \le s, \\ w_i^+,w_i^- \ge 0$

Wobei und wie oben von Glen_b angegeben sind $Q$ $c$

Dies muss in eine verwendbare Form umgewandelt werden, dh wir benötigen einen Vektor. Dies geschieht folgendermaßen:

$\frac{1}{2} \bigg[ \begin{array}{c} w^+ \\ w^- \end{array} \bigg]^T \bigg[ \begin{array}{cc} Q & -Q \\ -Q & Q \end{array} \bigg] \bigg[ \begin{array}{c} w^+ \\ w^- \end{array}\bigg] + \big[ \begin{array}{cc} c^T & -c^T \end{array} \big] \bigg[ \begin{array}{c} w^+ \\ w^- \end{array}\bigg]$

vorbehaltlich

$\bigg[ \begin{array}{cc} I_D & I_D \\ -I_{2D} \end{array} \bigg]\bigg[ \begin{array}{c} w^+ \\ w^- \end{array}\bigg] \le \bigg[ \begin{array}{c} s_D \\ 0_{2D} \end{array}\bigg]$

Wobei die dimensionale Einheitsmatrix ist, ein dimensionaler Vektor, der nur aus dem Wert und a -dimensionaler Nullvektor besteht. Die erste Hälfte sorgt für , das zweite Jetzt ist es in einer verwendbaren Form, nach quadratischer Programmierung zu suchen $I_D$ $D$ $s_D$ $D$ $s$ $0_D$ $2*D$ $|w_i| = w_i^+ + w_i^- \le s$ $w_i^+,w_i^- \ge 0$ und , gegeben . Sobald dies geschehen ist, Ihre optimalen Parameter in Bezug auf sind . $w^+$ $w^-$ $s$ $s$ $w = w^+ - w^-$

Quelle und weiterführende Literatur: Lösung eines quadratischen Programmierproblems mit linearen Einschränkungen, die absolute Werte enthalten

— spurra
quelle

Angenommen, wir haben einen optimalen

dimensionalen Vektor

. Was stellt sicher, dass

und

tatsächlich die positiven und negativen Teile eines Vektors

, dh ihre

Eintrittspositionen stimmen überein?

2 D

$2D$

(w^{+}, w^{-})

$(w^+, w^-)$

w^{+}

$w^+$

w^{-}

$w^-$

w

$w$

0

$0$

— Myath

Matrix und Vektor im endgültigen Ausdruck können einfacher und tatsächlich korrekter sein. Anstelle von [Id Id] [w + w−] '≤ Sd können Sie einfach [1 1 .... 1] [w + w-]' ≤ s setzen. Dies ist buchstäblich äquivalent zu ∑ | wi | = ∑ (wi + + wi−) ≤ s.

— Marko