Vielfältige Regularisierung unter Verwendung eines Laplace-Graphen in SVM

Ich versuche, die Manifold-Regularisierung in Support Vector Machines (SVMs) in Matlab zu implementieren. Ich folge den Anweisungen in der Arbeit von Belkin et al. (2006), da ist die Gleichung drin:

$f^{*} = \text{argmin}_{f \in H_k}\sum_{i=1}^{l}V\left(x_i,y_i,f\right)+\gamma_{A}\left\| f \right\|_{A}^{2}+\gamma_{I}\left\| f \right\|_{I}^{2}$

wobei V eine Verlustfunktion ist und das Gewicht der Norm der Funktion in der RHKS (oder Umgebungsnorm) ist, erzwingt dies eine für die möglichen Lösungen, und ist das Gewicht der Norm der Funktion in die niedrigdimensionale Mannigfaltigkeit (oder intrinsische Norm), die entlang des abgetasteten M reibungslos wirkt. Der Umgebungs-Regularisierer macht das Problem gut gestellt, und seine Anwesenheit kann aus praktischer Sicht wirklich hilfreich sein, wenn die Annahme der Mannigfaltigkeit in geringerem Maße gilt . $\gamma_A$ $\gamma_I$

Es wurde in Belkin et al. (2006), dass eine Erweiterung in Bezug auf Punkte von S zulässt , Die Entscheidungsfunktion, die unterscheidet zwischen Klasse +1 und -1 ist . $f^*$ $n$ $f^*(x)=\sum_{i=1}^{n}\alpha_i^*k(x_i,x)$ $y(x)=sign(f^*(x))$

Das Problem hierbei ist, dass ich versuche, SVM mit LIBSVM in MATLAB zu trainieren, aber den ursprünglichen Code nicht ändern möchte. Daher habe ich die vorberechnete Version von LIBSVM gefunden, die anstelle von Eingabedaten und Ausgabegruppen Parameter verwendet , berechnet die Kernal-Matrix und die Ausgabegruppen und trainiert das SVM-Modell. Ich versuche, es mit der regulierten Kernel-Matrix (Gram Matrix) zu füttern und lasse es den Rest erledigen.

Ich habe versucht, die Formel zu finden, die den Kernal reguliert, und dazu gekommen: als Identitätsmatrix mit derselben Dimension wie die Kernelmatrix zu definieren, $I$ $K$

$G=\frac{2\gamma_AI + 2\gamma_ILK}{I}$

$Gram = KG$

In welcher die Laplace-Graph-Matrix ist, ist die Kernel-Matrix und ist die Identitätsmatrix. Und wird unter Verwendung der inneren Multiplikation zweier Matrizen und berechnet . $L$ $K$ $I$ $Gram$ $K$ $G$

Gibt es jemanden, der mir helfen kann, herauszufinden, wie dies berechnet wird?

machine-learning svm regularization

— Moh
quelle

Was hast du am Ende gemacht?

— Sveltely

@Sveltely Nothing

— Moh

~~Während ich es beim Testen~~ des Artikels ~~nicht getestet habe~~ , wird das Optimierungsproblem sowohl für SVM als auch für LapSVM wie folgt angegeben:

β^{*} = max_{β \in R^{l}} \sum_{i = 1}^{l} β_{i} - \frac{1}{2} β^{T} Q β

$\beta^*=\max_{\beta\in\mathbb R^l} \sum_{i = 1}^{l}\beta_i - {1\over 2}\beta^TQ\beta$ vorbehaltlich:

\sum_{i = 1}^{l} β_{i} y_{i} = 0 0 \leq β_{i} \leq \frac{1}{l}, with i = 1, \dots, l

$\sum_{i = 1}^{l}\beta_iy_i = 0\\ 0 \le \beta_i \le {1\over l}\text{, with }i=1,\dots,l$

Für SVM :

Q_{SVM} = Y (\frac{K}{2 γ}) Y α_{SVM}^{*} = \frac{Y β^{*}}{2 γ}

$Q_{\text{SVM}} = Y\left(K \over 2\gamma\right)Y\\ \alpha^*_{\text{SVM}}={Y\beta^* \over 2\gamma}$

Während für LapSVM wir Folgendes haben (Klammern hinzugefügt, um die Beziehung klarer zu machen):

Q_{LapSVM} = Y (J K {(2 γ_{A} I + 2 \frac{γ_{I}}{(l + u)^{2}} L K)}^{- 1} J^{T}) Y α_{LapSVM}^{*} = {(2 γ_{A} I + 2 \frac{γ_{I}}{(l + u)^{2}} L K)}^{- 1} J^{T} Y β^{*}

$Q_{\text{LapSVM}} = Y\left( JK \left(2\gamma_AI+2\frac{\gamma_I}{(l+u)^2}LK\right)^{-1} J^T\right)Y\\ \alpha^*_{\text{LapSVM}}= \left(2\gamma_AI+2\frac{\gamma_I}{(l+u)^2}LK\right)^{-1}J^TY\beta^*$

Wir können wenn:

Q_{SVM*} \equiv Q_{LapSVM}

$Q_{\text{SVM*}} \equiv Q_{\text{LapSVM}}$

{\begin{matrix} γ_{SVM*} = 1 / 2 \\ K_{SVM*} = J K_{LapSVM} {(2 γ_{A} I + 2 \frac{γ_{I}}{(l + u)^{2}} L K_{LapSVM})}^{- 1} J^{T} \end{matrix}

$\left\{\begin{matrix} \gamma_{\text{SVM*}} = 1/2 \\ K_{\text{SVM*}}=JK_{\text{LapSVM}}\left(2\gamma_AI+2\frac{\gamma_I}{(l+u)^2}LK_{\text{LapSVM}}\right)^{-1}J^T \end{matrix}\right.$

Letzte:

α_{LapSVM}^{*} = K_{LapSVM} {(2 γ_{A} I + 2 \frac{γ_{I}}{(l + u)^{2}} L K_{LapSVM})}^{- 1} J^{T} α_{SVM*}^{*}

$\alpha^*_{\text{LapSVM}}= K_{\text{LapSVM}}\left(2\gamma_AI+2\frac{\gamma_I}{(l+u)^2}LK_{\text{LapSVM}}\right)^{-1}J^T \alpha^*_{\text{SVM*}}$

Ich kann bestätigen, dass es funktioniert. Sehen Sie sich dieses Beispiel mit einem Gaußschen Kernel an und wie sich die Klasse virginicain die unbeschrifteten Daten wenn verglichen mit , der Standard-SVM. $\gamma_I = 2500$ $\gamma_I = 0$

— Firebug
quelle