Unterschied zwischen Primal-, Dual- und Kernel-Ridge-Regression

Was ist der Unterschied zwischen Primal , Dual und Kernel Ridge Regression? Die Leute benutzen alle drei, und wegen der unterschiedlichen Notation, die jeder an verschiedenen Quellen benutzt, ist es schwierig für mich zu folgen.

Kann mir jemand mit einfachen Worten sagen, was der Unterschied zwischen diesen drei ist? Welche Vor- oder Nachteile kann es geben, und welche Komplexität kann es haben?

Kurze Antwort: Kein Unterschied zwischen Primal und Dual - es geht nur um den Weg zur Lösung. Die Kernel-Ridge-Regression ist im Wesentlichen dieselbe wie die übliche Ridge-Regression, verwendet jedoch den Kernel-Trick, um nichtlinear zu werden.

Lineare Regression

Zuallererst versucht eine gewöhnliche lineare Regression der kleinsten Quadrate, eine gerade Linie an die Menge der Datenpunkte anzupassen, so dass die Summe der quadratischen Fehler minimal ist.

Wir parametrisieren die am besten passende Linie mit und für jeden Datenpunkt wir wollen . Sei der Fehler - der Abstand zwischen vorhergesagten und wahren Werten. Unser Ziel ist es also, die Summe der Fehlerquadrate zu minimieren wobei - eine Datenmatrix mit jeder ist eine Zeile und ein Vektor mit allen .$\mathbb w$$(\mathbf x_i, y_i)$$\mathbf w^T \mathbf x_i \approx y_i$$e_i = y_i - \mathbf w^T \mathbf x_i$$\sum e_i^2 = \| \mathbf e \|^2 = \| X \mathbf w - \mathbf y \|^2$$X = \begin{bmatrix} — \mathbf x_1 \,— \\ — \mathbf x_2 \,— \\ \vdots \\ — \mathbf x_n \,— \end{bmatrix}$$\mathbf x_i$$\mathbf y = (y_1 , \ ... \ , y_n)$$y_i$

Das Ziel ist also , und die Lösung ist (bekannt als "Normal Equation").$\min\limits_{\mathbf w} \| X \mathbf w - \mathbf y \|^2$$\mathbf w = (X^T X)^{-1} X^T \mathbf y$

Für einen neuen unsichtbaren Datenpunkt sagen wir seinen Zielwert als voraus .$\mathbf x$y$\hat y$y = w T x$\hat y = \mathbf w^T \mathbf x$

Ridge Regression

Wenn es in linearen Regressionsmodellen viele korrelierte Variablen gibt, können die Koeffizienten schlecht bestimmt werden und eine große Varianz aufweisen. Eine der Lösungen für dieses Problem besteht darin, die Gewichte so einzuschränken, dass sie ein gewisses Budget nicht überschreiten . Dies ist gleichbedeutend mit der Verwendung der , die auch als "Gewichtsabnahme" bezeichnet wird: Sie verringert die Varianz auf Kosten der manchmal fehlenden korrekten Ergebnisse (dh durch Einführen einer gewissen Verzerrung).$\mathbf w$$\mathbf w$$C$$L_2$

Das Ziel wird jetzt , wobei der Regularisierungsparameter ist. Wenn wir die Mathematik durchgehen, erhalten wir die folgende Lösung: . Es ist der üblichen linearen Regression sehr ähnlich, aber hier addieren wir zu jedem diagonalen Element von .$\min\limits_{\mathbf w} \| X \mathbf w - y \|^2 + \lambda \, \| \mathbf w \|^2$$\lambda$$\mathbf w = (X^T X + \lambda \, I )^{-1} X^T \mathbf y$$\lambda$$X^T X$

Beachten Sie, dass wir als (siehe hier für Details). Für einen neuen unsichtbaren Datenpunkt prognostizieren wir seinen Zielwert als . Es sei . Dann ist .$\mathbf w$$\mathbf w = X^T \, (X X^T + \lambda \, I)^{-1} \mathbf y$x y y = x T w = x T X T$\mathbf x$$\hat y$$\hat y = \mathbf x^T \mathbf w = \mathbf x^T X^T \, (X X^T + \lambda \, I)^{-1} \mathbf y$$\boldsymbol \alpha = (X X^T + \lambda \, I)^{-1} \mathbf y$y = x T X T α = n Σ i = 1 α i ⋅ x T x i$\hat y = \mathbf x^T X^T \boldsymbol \alpha = \sum\limits_{i=1}^{n} \alpha_i \cdot \mathbf x^T \mathbf x_i$

Ridge Regression Dual Form

Wir können unser Ziel anders betrachten - und das folgende quadratische Programmproblem definieren:

$\min\limits_{\mathbf e, \mathbf w} \sum\limits_{i = 1}^n e_i^2$ e i = y i - w T x i i=1 st für und .$e_i = y_i - \mathbf w^T \mathbf x_i$$i = 1 \, .. \, n$$\| \mathbf w \|^2 \leqslant C$

Es ist das gleiche Ziel, aber etwas anders ausgedrückt, und hier ist die Beschränkung der Größe von explizit. Um dies zu lösen, definieren wir das Lagrange - dies ist die Urform, die die Urvariablen und . Dann optimieren wir es für und . Um die duale Formulierung zu erhalten, setzen wir found und zurück auf .$\mathbf w$$\mathcal L_p(\mathbf w, \mathbf e ; C)$$\mathbf w$$\mathbf e$$\mathbf e$$\mathbf w$$\mathbf e$$\mathbf w$$\mathcal L_p(\mathbf w, \mathbf e ; C)$

Also ist . Indem wir Ableitungen von und , erhalten wir und . Wenn und und zurück auf , erhalten wir duale Lagrange$\mathcal L_p(\mathbf w, \mathbf e ; C) = \| \mathbf e \|^2 + \boldsymbol \beta^T (\mathbf y - X \mathbf w - \mathbf e) - \lambda \, (\| \mathbf w \|^2 - C)$$\mathbf w$$\mathbf e$$\mathbf e = \cfrac{1}{2} \boldsymbol \beta$$\mathbf w = \cfrac{1}{2 \lambda} X^T \boldsymbol \beta$$\boldsymbol \alpha = \cfrac{1}{2 \lambda} \boldsymbol \beta$$\mathbf e$$\mathbf w$$\mathcal L_p(\mathbf w, \mathbf e ; C)$$\mathcal L_d(\boldsymbol \alpha, \lambda; C) = -\lambda^2 \| \boldsymbol \alpha \|^2 + 2 \lambda \, \boldsymbol \alpha^T y - \lambda \| X^T \boldsymbol \alpha \| - \lambda C$ . Wenn wir eine Ableitung von , erhalten wir - die gleiche Antwort wie für die übliche Kernel-Ridge-Regression. Es ist nicht erforderlich, eine Ableitung von - dies hängt von , einem Regularisierungsparameter - und es wird auch der Regularisierungsparameter .$\boldsymbol \alpha$$\boldsymbol \alpha = (XX^T - \lambda I)^{-1} \mathbf y$$\lambda$$C$$\lambda$

Als nächstes setze in die Lösung der Urform für und erhalte . Somit ergibt die duale Form dieselbe Lösung wie die übliche Ridge-Regression, und es ist nur ein anderer Weg, zur selben Lösung zu gelangen.$\boldsymbol \alpha$$\mathbf w$$\mathbf w = \cfrac{1}{2 \lambda} X^T \boldsymbol \beta = X^T \boldsymbol \alpha$

Kernel Ridge Regression

Kernel werden verwendet, um das innere Produkt von zwei Vektoren in einem Merkmalsraum zu berechnen, ohne es überhaupt zu besuchen. Wir können einen Kernel als , obwohl wir nicht wissen, was ist - wir wissen nur, dass es existiert. Es gibt viele Kernel, zB RBF, Polynonial, etc.$k$$k(\mathbf x_1, \mathbf x_2) = \phi(\mathbf x_1)^T \phi(\mathbf x_2)$$\phi(\cdot)$

Wir können Kernel verwenden, um unsere Ridge-Regression nichtlinear zu machen. Angenommen, wir haben einen Kernel . Sei eine Matrix, in der jede Zeile , dh$k(\mathbf x_1, \mathbf x_2) = \phi(\mathbf x_1)^T \phi(\mathbf x_2)$$\Phi(X)$$\phi(\mathbf x_i)$$\Phi(X) = \begin{bmatrix} — \phi(\mathbf x_1) \,— \\ — \phi(\mathbf x_2) \,— \\ \vdots \\ — \phi(\mathbf x_n) \,— \end{bmatrix}$

Jetzt können wir einfach die Lösung für Ridge Regression nehmen und jedes durch ersetzen : . Für einen neuen unsichtbaren Datenpunkt prognostizieren wir seinen Zielwert als .$X$$\Phi(X)$$\mathbf w = \Phi(X)^T \, (\Phi(X) \Phi(X)^T + \lambda \, I)^{-1} \mathbf y$$\mathbf x$$\hat y$$\hat y= \mathbf \phi(\mathbf x)^T \Phi(X)^T \, (\Phi(X) \Phi(X)^T + \lambda \, I)^{-1} \mathbf y$

Erstens können wir durch eine Matrix ersetzen , berechnet als . Dann ist . Hier haben wir es also geschafft, jedes Skalarprodukt des Problems in Form von Kerneln auszudrücken.$\Phi(X) \Phi(X)^T$$K$$(K)_{ij} = k(\mathbf x_i, \mathbf x_j)$$\phi(\mathbf x)^T \Phi(X)^T$$\sum\limits_{i = 1}^n \phi(\mathbf x)^T \phi(\mathbf x_i) = \sum\limits_{i = 1}^n k(\mathbf x, \mathbf x_j)$

Schließlich erhalten wir, indem wir (wie zuvor) lassen,$\boldsymbol \alpha = (K + \lambda \, I)^{-1} \mathbf y$$\hat y= \sum\limits_{i = 1}^n \alpha_i k(\mathbf x, \mathbf x_j)$

Verweise

• Maschinelles Lernen Ich unterrichte an der TU Berlin
• Elemente des statistischen Lernens, http://statweb.stanford.edu/~tibs/ElemStatLearn/
• http://0agr.ru/wiki/index.php/Normal_Equation
• http://stat.wikia.com/wiki/Kernel_Ridge_Regression
• http://stat.rutgers.edu/home/tzhang/papers/ml02_dual.pdf
• http://www.ics.uci.edu/~welling/classnotes/papers_class/Kernel-Ridge.pdf
• http://www.cs.nyu.edu/~mohri/mls/lecture_8.pdf