Nichtlineare SVM-Klassifizierung mit RBF-Kernel

Ich implementiere einen nichtlinearen SVM-Klassifikator mit RBF-Kernel. Mir wurde gesagt, dass der einzige Unterschied zu einer normalen SVM darin bestand, dass ich das Punktprodukt einfach durch eine Kernelfunktion ersetzen musste: Ich weiß, wie eine normale lineare SVM funktioniert, dh nachdem ich das quadratische Optimierungsproblem (doppelte Aufgabe) gelöst habe, berechne ich die optimale Teilungshyperebene als und der Versatz der Hyperebene , wobei eine Liste meiner Trainingsvektoren ist, ihre jeweiligen Bezeichnungen sind ( ),w∗=∑i∈SVhiyixib∗=

$$K(x_i,x_j)=\exp\left(-\frac{||x_i-x_j||^2}{2\sigma^2}\right)$$ $$w^*=\sum_{i \in SV} h_i y_i x_i$$ $$b^*=\frac{1}{|SV|}\sum_{i \in SV}\left(y_i - \sum_{j=1}^N\left(h_j y_j x_j^T x_i\right)\right)$$ $x$$y$$y_i \in \{-1,1\}$$h$ sind die Lagrange-Koeffizienten und ist ein Satz von Unterstützungsvektoren. Danach kann ich und alleine verwenden, um einfach zu klassifizieren: .$SV$$w^*$$b^*$$c_x=\text{sign}(w^Tx+b)$

Ich glaube jedoch nicht, dass ich so etwas mit einem RBF-Kernel machen kann. Ich fand einige Materialien, die darauf hindeuten, dass . Das würde es einfach machen. Trotzdem glaube ich nicht, dass eine solche Zerlegung für diesen Kernel existiert und sie wird nirgendwo erwähnt. Ist die Situation so, dass alle Unterstützungsvektoren für die Klassifizierung benötigt werden? Wenn ja, wie klassifiziere ich in diesem Fall?$K(x,y)=\phi(x)\phi(y)$

Lassen Sie Ihren Eingabebereich darstellen, dh den Bereich, in dem sich Ihre Datenpunkte befinden. Stellen Sie sich eine Funktion so vor, dass sie einen Punkt aus Ihrem Eingabebereich entnimmt und einem Punkt in zuordnet . Nehmen wir nun an, wir haben alle Ihre Datenpunkte von auf diesen neuen Bereich abgebildet . Wenn Sie nun versuchen, das normale lineare svm in diesem neuen Raum anstelle von zu lösen , werden Sie feststellen, dass alle früheren Arbeiten einfach gleich aussehen, außer dass alle Punkte als dargestellt werden$\mathcal{X}$$\Phi:\mathcal{X} \rightarrow \mathcal{F}$$\mathcal{X}$$\mathcal{F}$$\mathcal{X}$$\mathcal{F}$$\mathcal{F}$$\mathcal{X}$$x_i$$\Phi(x_i)$und anstatt (Punktprodukt) zu verwenden, das das natürliche innere Produkt für den euklidischen Raum ist, ersetzen wir es durch das das natürliche innere Produkt im neuen Raum darstellt . Am Ende würde Ihr so aussehen:$x^Ty$$\langle \Phi(x), \Phi(y) \rangle$$\mathcal{F}$$w^*$

$$w^*=\sum_{i \in SV} h_i y_i \Phi(x_i)$$

und daher

$$\langle w^*, \Phi(x) \rangle = \sum_{i \in SV} h_i y_i \langle \Phi(x_i), \Phi(x) \rangle$$

In ähnlicher Weise ist

$$b^*=\frac{1}{|SV|}\sum_{i \in SV}\left(y_i - \sum_{j=1}^N\left(h_j y_j \langle \Phi(x_j), \Phi(x_i)\rangle\right)\right)$$

und Ihre Klassifizierungsregel sieht folgendermaßen aus: .$c_x=\text{sign}(\langle w, \Phi(x) \rangle+b)$

So weit so gut, es gibt nichts Neues, da wir die normale lineare SVM einfach auf einen anderen Raum angewendet haben. Der magische Teil ist jedoch dieser -

Nehmen wir an, es gibt eine Funktion so dass . Dann können wir alle obigen Punktprodukte durch ersetzen . Ein solches wird als Kernelfunktion bezeichnet. k ( x i , x j ) = ⟨ Φ ( x i ) , Φ ( x j ) ⟩ k ( x i , x j ) $k:\mathcal{X}\times\mathcal{X}\rightarrow \mathbb{R}$$k(x_i, x_j) = \langle \Phi(x_i), \Phi(x_j) \rangle$$k(x_i, x_j)$$k$

$w^*$$b^*$

$$\langle w^*, \Phi(x) \rangle = \sum_{i \in SV} h_i y_i k(x_i, x)$$ $$b^*=\frac{1}{|SV|}\sum_{i \in SV}\left(y_i - \sum_{j=1}^N\left(h_j y_j k(x_j, x_i)\right)\right)$$

Für welche Kernelfunktionen gilt die obige Ersetzung? Nun, das ist eine etwas komplizierte Frage, und Sie möchten vielleicht richtiges Lesematerial aufnehmen, um diese Implikationen zu verstehen. Ich möchte jedoch nur hinzufügen, dass das oben Gesagte für den RBF-Kernel gilt.

$w$$x$$w$

$h_i$$\mathcal{F}$$\mathcal{X}$$\Phi$$k$$\Phi$

$$\max \sum_i h_i - \sum_{i,j} y_i y_j h_i h_j k(x_i, x_j) \\ \text{subject to : } \sum_i y_i h_i = 0, h_i \geq 0$$