Was ist die Intuition dahinter, dass eine SVM mit einem Gaußschen Kern einen unendlich dimensionalen Merkmalsraum hat?

Diese Antwort erklärt Folgendes:

1. Warum eine perfekte Trennung mit bestimmten Punkten und einem Gaußschen Kern (mit ausreichend kleiner Bandbreite) immer möglich ist
2. Wie diese Trennung als linear interpretiert werden kann, aber nur in einem abstrakten Merkmalsraum, der sich von dem Raum unterscheidet, in dem sich die Daten befinden
3. Wie die Zuordnung von Datenraum zu Merkmalsraum "gefunden" wird. Spoiler: Wird nicht von SVM gefunden, sondern implizit vom ausgewählten Kernel definiert.
4. Warum der Merkmalsraum unendlich dimensional ist.

1. Perfekte Trennung erreichen

Mit einem Gaußschen Kernel ist immer eine perfekte Trennung möglich (vorausgesetzt, keine zwei Punkte aus verschiedenen Klassen sind jemals genau gleich), da die Lokalitätseigenschaften des Kernels zu einer willkürlich flexiblen Entscheidungsgrenze führen. Bei einer ausreichend kleinen Kernelbandbreite sieht die Entscheidungsgrenze so aus, als hätten Sie nur kleine Kreise um die Punkte gezogen, wenn diese zur Trennung der positiven und negativen Beispiele benötigt werden:

(Quelle: Andrew Ngs Online-Kurs für maschinelles Lernen ).

Warum geschieht dies also aus mathematischer Sicht?

Betrachten Sie den Standard - Setup: Sie haben einen Gauß - Kern und Trainingsdaten ( x ( 1 ) , y ( 1 ) ) , ( x ( 2 ) , y ( 2 ) ) , … , ( x ( n )$K(\mathbf{x},\mathbf{z}) = \exp(-||\mathbf{x}-\mathbf{z}||^2 / \sigma^2)$ wobei die y ( i ) -Werte ± 1 sind . Wir wollen eine Klassifikatorfunktion lernen$(\mathbf{x}^{(1)},y^{(1)}), (\mathbf{x}^{(2)},y^{(2)}), \ldots, (\mathbf{x}^{(n)},y^{(n)})$$y^{(i)}$$\pm 1$

$$\hat{y}(\mathbf{x}) = \sum_i w_i y^{(i)} K(\mathbf{x}^{(i)},\mathbf{x})$$

Wie werden wir nun jemals die Gewichte zuweisen ? Benötigen wir unendlich dimensionale Räume und einen quadratischen Programmieralgorithmus? Nein, weil ich nur zeigen will, dass ich die Punkte perfekt trennen kann. Also mache ich σ eine Milliarde mal kleiner als der kleinste Abstand | | x ( i ) - x ( j ) | | zwischen zwei beliebigen Trainingsbeispielen, und ich setze gerade w i = 1 . Dies bedeutet , dass alle Trainingspunkte sind eine Milliarde Sigmas auseinander , so weit das Kernel betrifft, und jeder Punkt steuert vollständig das Vorzeichen von $w_i$$\sigma$$||\mathbf{x}^{(i)} - \mathbf{x}^{(j)}||$$w_i = 1$$\hat{y}$in seiner Nachbarschaft. Formal haben wir

$$\hat{y}(\mathbf{x}^{(k)}) = \sum_{i=1}^n y^{(k)} K(\mathbf{x}^{(i)},\mathbf{x}^{(k)}) = y^{(k)} K(\mathbf{x}^{(k)},\mathbf{x}^{(k)}) + \sum_{i \neq k} y^{(i)} K(\mathbf{x}^{(i)},\mathbf{x}^{(k)}) = y^{(k)} + \epsilon$$

Wobei ein beliebig kleiner Wert ist. Wir wissen , ε klein ist , weil x ( k ) eine Milliarde Sigmas weg von jedem anderen Punkt ist, so dass für alle i ≠ k haben wir$\epsilon$$\epsilon$$\mathbf{x}^{(k)}$$i \neq k$

$$K(\mathbf{x}^{(i)},\mathbf{x}^{(k)}) = \exp(-||\mathbf{x}^{(i)} - \mathbf{x}^{(k)}||^2 / \sigma^2) \approx 0.$$

Da so klein ist, y ( x ( k ) ) hat auf jeden Fall das gleiche Vorzeichen wie y ( k ) und der Klassifikator erreicht perfekte Genauigkeit auf den Trainingsdaten.$\epsilon$$\hat{y}(\mathbf{x}^{(k)})$$y^{(k)}$

2. Kernel-SVM-Lernen als lineare Trennung

Die Tatsache, dass dies als "perfekte lineare Trennung in einem unendlich dimensionalen Merkmalsraum" interpretiert werden kann, ergibt sich aus dem Kernel-Trick, mit dem Sie den Kernel als inneres Produkt in einem (möglicherweise unendlich dimensionalen) Merkmalsraum interpretieren können:

$$K(\mathbf{x}^{(i)},\mathbf{x}^{(j)}) = \langle\Phi(\mathbf{x}^{(i)}),\Phi(\mathbf{x}^{(j)})\rangle$$

Dabei ist die Zuordnung vom Datenraum zum Merkmalsraum. Daraus folgt unmittelbar , daß die y ( x ) Funktion als eine lineare Funktion in dem Merkmalsraum:$\Phi(\mathbf{x})$$\hat{y}(\mathbf{x})$

$$\hat{y}(\mathbf{x}) = \sum_i w_i y^{(i)} \langle\Phi(\mathbf{x}^{(i)}),\Phi(\mathbf{x})\rangle = L(\Phi(\mathbf{x}))$$

wobei die lineare Funktion auf Merkmalsraumvektoren v als definiert ist$L(\mathbf{v})$$\mathbf{v}$

$$L(\mathbf{v}) = \sum_i w_i y^{(i)} \langle\Phi(\mathbf{x}^{(i)}),\mathbf{v}\rangle$$

Diese Funktion ist in linear, da es sich nur um eine lineare Kombination innerer Produkte mit festen Vektoren handelt. In dem Merkmalsraum, die Entscheidungsgrenze y ( x ) = 0 gerade ist L ( v ) = 0 , der Pegel einer linearen Funktion. Dies ist die eigentliche Definition einer Hyperebene im Objektbereich.$\mathbf{v}$$\hat{y}(\mathbf{x}) = 0$$L(\mathbf{v}) = 0$

3. Grundlegendes zur Zuordnung und zum Funktionsbereich

Hinweis: In diesem Abschnittbezieht sichdie Notation auf eine beliebige Menge von n Punkten und nicht auf die Trainingsdaten. Das ist reine Mathematik; Die Trainingsdaten sind in diesem Abschnitt überhaupt nicht enthalten!$\mathbf{x}^{(i)}$$n$

Kernel - Methoden eigentlich nie „finden“ oder „berechnen“ der Merkmalsraum oder die Abbildung explizit. Kernel-Lernmethoden wie SVM benötigen sie nicht, um zu funktionieren. sie müssen nur die Kernfunktion K .$\Phi$$K$

Es ist jedoch möglich, eine Formel für aufzuschreiben . Der Merkmalsraum, auf den Φ abgebildet wird, ist abstrakt (und möglicherweise unendlich dimensional), aber im Grunde verwendet das Mapping nur den Kernel, um ein einfaches Feature-Engineering durchzuführen. Bezüglich des Endergebnisses unterscheidet sich das Modell, das Sie am Ende mit Kerneln lernen, nicht von dem traditionellen Feature-Engineering, das in der linearen Regression und GLM-Modellierung verwendet wird, z. B. das Protokoll einer positiven Prädiktorvariablen, bevor es in eine Regressionsformel eingegeben wird. Die Mathematik ist meist nur dazu da, um sicherzustellen, dass der Kernel gut mit dem SVM-Algorithmus zusammenarbeitet, der die bekannten Vorteile von Sparsity und Skalierung für große Datensätze bietet.$\Phi$$\Phi$

Wenn Sie immer noch interessiert sind, erfahren Sie hier, wie es funktioniert. Im Grunde nehmen wir die Identität , die wir halten wollen, , und einen Raum und inneres Produkt konstruieren , so dass es per Definition hält. Dazu definieren wir einen abstrakten Vektorraum V, in dem jeder Vektor eine Funktion von dem Raum, in dem sich die Daten befinden, X zu den reellen Zahlen R ist . Ein Vektor f in V ist eine Funktion, die aus einer endlichen linearen Kombination von Kernschnitten gebildet wird: f ( $\langle \Phi(\mathbf{x}), \Phi(\mathbf{y}) \rangle = K(\mathbf{x},\mathbf{y})$$V$$\mathcal{X}$$\mathbb{R}$$f$$V$ Es ist zweckmäßig, f kompakterzu schreibenals f = n ∑ i = 1 α i K x ( i ) wobei K x ( y ) = K ( x , y ) ist eine Funktion, die bei x eine "Scheibe" des Kernels ergibt.

$$f(\mathbf{x}) = \sum_{i=1}^n \alpha_i K(\mathbf{x}^{(i)},\mathbf{x})$$ $f$ $$f = \sum_{i=1}^n \alpha_i K_{\mathbf{x}^{(i)}}$$ $K_\mathbf{x}(\mathbf{y}) = K(\mathbf{x},\mathbf{y})$$\mathbf{x}$

Das innere Produkt auf dem Raum ist kein gewöhnliches Punktprodukt, sondern ein abstraktes inneres Produkt, das auf dem Kernel basiert:

$$\langle \sum_{i=1}^n \alpha_i K_{\mathbf{x}^{(i)}}, \sum_{j=1}^n \beta_j K_{\mathbf{x}^{(j)}} \rangle = \sum_{i,j} \alpha_i \beta_j K(\mathbf{x}^{(i)},\mathbf{x}^{(j)})$$

Wenn der Merkmalsraum auf diese Weise definiert ist, ist eine Abbildung X → V , die jeden Punkt x zu dem "Kernel-Slice" an diesem Punkt bringt:$\Phi$$\mathcal{X} \rightarrow V$$\mathbf{x}$

$$\Phi(\mathbf{x}) = K_\mathbf{x}, \quad \text{where} \quad K_\mathbf{x}(\mathbf{y}) = K(\mathbf{x},\mathbf{y}).$$

Sie können beweisen, dass ein innerer Produktraum ist, wenn K ein positiver bestimmter Kern ist. Weitere Informationen finden Sie in diesem Dokument. (Ein großes Lob an f coppens für diesen Hinweis!)$V$$K$

4. Warum ist der Merkmalsraum unendlich dimensional?

Diese Antwort gibt eine schöne Erklärung für die lineare Algebra, aber hier ist eine geometrische Perspektive, sowohl mit Intuition als auch mit Beweis.

Intuition

Für jeden festen Punkt haben wir eine Kernel-Slice-Funktion K z ( x ) = K ( z , x ) . Der Graph von K z ist nur eine Gauß'sche Erhebung, die bei z zentriert ist$\mathbf{z}$$K_\mathbf{z}(\mathbf{x}) = K(\mathbf{z},\mathbf{x})$$K_\mathbf{z}$$\mathbf{z}$. Wenn der Merkmalsraum nur endlich dimensioniert wäre, würde dies bedeuten, dass wir eine endliche Menge von Erhebungen an einer festen Menge von Punkten nehmen und irgendwo anders eine Gauß'sche Erhebung bilden könnten. Aber es ist klar, dass wir das nicht schaffen können. Aus alten Unebenheiten kann man keine neue Unebenheit machen, weil die neue Unebenheit sehr weit von den alten entfernt sein kann. Egal wie viele Merkmalsvektoren (Bumps) wir haben, wir können immer neue Bumps hinzufügen, und im Merkmalsraum sind dies neue unabhängige Vektoren. Der Merkmalsraum kann also nicht endlich dimensioniert sein. es muss unendlich sein.

Beweis

Wir benutzen Induktion. Angenommen, Sie haben eine beliebige Menge von Punkten , sodass die Vektoren Φ ( x ( i ) ) im Merkmalsraum linear unabhängig sind. Finden Sie nun einen Punkt x ( n + 1 ), der sich von diesen n Punkten unterscheidet, und zwar eine Milliarde Sigmas von allen entfernt. Wir behaupten, dass Φ ( x ( n + 1 )$\mathbf{x}^{(1)}, \mathbf{x}^{(2)}, \ldots, \mathbf{x}^{(n)}$$\Phi(\mathbf{x}^{(i)})$$\mathbf{x}^{(n+1)}$$n$$\Phi(\mathbf{x}^{(n+1)})$ist linear unabhängig von den ersten Merkmalsvektoren Φ ( x ( i ) ) .$n$$\Phi(\mathbf{x}^{(i)})$

Beweis durch Widerspruch. Nehmen wir das Gegenteil an

$$\Phi(\mathbf{x}^{(n+1)}) = \sum_{i=1}^n \alpha_i \Phi(\mathbf{x}^{(i)})$$

Nehmen Sie nun das innere Produkt auf beiden Seiten mit einem beliebigen . Durch die Identität ⟨ Φ ( z ) , Φ ( x ) ⟩ = K ( z , x ) , so erhalten wir$\mathbf{x}$$\langle \Phi(\mathbf{z}), \Phi(\mathbf{x}) \rangle = K(\mathbf{z},\mathbf{x})$

$$K(\mathbf{x}^{(n+1)},\mathbf{x}) = \sum_{i=1}^n \alpha_i K(\mathbf{x}^{(i)},\mathbf{x})$$

Hier ist eine freie Variable, daher ist diese Gleichung eine Identität, die besagt, dass zwei Funktionen gleich sind. Insbesondere heißt es, dass ein um x ( n + 1 ) zentrierter Gaußscher als eine lineare Kombination von Gaußschen an anderen Punkten x ( i ) dargestellt werden kann . Es ist geometrisch offensichtlich, dass man aus einer endlichen Kombination von Gauß'schen Erhebungen, die an anderen Punkten zentriert sind, keine Gauß'sche Erhebung erzeugen kann, insbesondere wenn all diese anderen Gauß'schen Erhebungen eine Milliarde Sigmas entfernt sind. Unsere Annahme einer linearen Abhängigkeit hat also zu einem Widerspruch geführt, wie wir gezeigt haben.$\mathbf{x}$$\mathbf{x}^{(n+1)}$$\mathbf{x}^{(i)}$

Die Kernel - Matrix des Gauß - Kern hat immer vollen Rang für verschiedene . Dies bedeutet, dass bei jedem Hinzufügen eines neuen Beispiels der Rang um 1 erhöht wird . Dies lässt sich am einfachsten feststellen, wenn Sie σ sehr klein einstellen . Dann ist die Kernelmatrix fast diagonal.$\mathbf x_1,...,\mathbf x_m$$1$$\sigma$

Die Tatsache, dass der Rang immer um eins steigt, bedeutet, dass alle Projektionen im Merkmalsraum linear unabhängig sind (nicht orthogonal, sondern unabhängig). Somit fügt jedes Beispiel eine neue Dimension in der Spannweite der Vorsprünge Φ ( x 1 ) , . . . , Φ ( x m ) . Da Sie unzählige Beispiele hinzufügen können, muss der Feature-Space eine unendliche Dimension haben. Interessanterweise liegen alle Projektionen des Eingaberaums in den Merkmalsraum auf einer Kugel, da | | Φ ( x ) | $\Phi(\mathbf x)$$\Phi(\mathbf x_1),...,\Phi(\mathbf x_m)$. Trotzdem ist die Geometrie der Kugel flach. Mehr dazu lesen Sie in$||\Phi(\mathbf x)||_{\mathcal H}^²=k(\mathbf x,\mathbf x)=1$

Burges, CJC (1999). Geometrie und Invarianz in kernbasierten Methoden. In B. Schölkopf, CJC Burges und AJ Smola (Hrsg.) Unterstützen Fortschritte bei den Kernelmethoden das Vektorlernen (S. 89–116). MIT Press.

Für den Hintergrund und die Notationen verweise ich auf die Antwort Wie berechne ich die Entscheidungsgrenze aus Unterstützungsvektoren? .

$x_i$$y_i \in \{-1, +1\}$$\alpha_i$

$K(x,y)=\Phi(x) \cdot \Phi(y)$$\cdot$$\Phi$

$\Phi$

$x_i$

$x_i$$\phi_i(x)=K(x_i,x)$$\phi_i$$\phi_i$$\phi_i$$V=span(\phi_{i, i=1,2,\dots N})$$N$ ist die Größe des Trainingsmusters).

$V$$V$$\phi_i$$\sum_{i=1}^N \gamma_i \phi_i$$\gamma_i$$V=\{v=\sum_{i=1}^N \gamma_i \phi_i|(\gamma_1,\gamma_2,\dots\gamma_N) \in \mathbb{R}^N \}$

$(\gamma_1,\gamma_2,\dots\gamma_N)$$v$$V$

$N$$V$$N$$\phi_i$$\phi_i(x)=K(x_i,x)$$\phi$$V$

$\phi_i(x)=K(x_i, x)$$V$$N$

$V$

$\Phi: x_i \to \phi_i(x)=K(x_i, x)$

$\Phi$$\Phi$$x_i$$V$$\phi_i$$i$

$x_i$$V$$\sum_{i=1}^N \gamma_i \phi_i$$\gamma_i$

$f(x)$$f(x)=\sum_i y_i \alpha_i \phi_i(x)+b$$f(x)=0$

$f(x)$$\phi_i$ $f(x)=0$$V$$\gamma_i$$\gamma_i=\alpha_i y_i$

$y_i$$\alpha_i$$V$

$V$

Kernel sind also eine Technik, mit der SVM Ihren Funktionsbereich transformieren kann. Siehe auch Was macht den Gaußschen Kernel für PCA so magisch und auch im Allgemeinen?

Leider ist die Erklärung von fcop völlig falsch. Zunächst sagt er: "Es ist bekannt, dass der Kernel als ... wobei ... eine (implizite und unbekannte) Transformation in einen neuen Merkmalsraum geschrieben werden kann." Es ist NICHT unbekannt. Dies ist in der Tat der Raum, auf den die Features abgebildet werden, und dies ist der Raum, der wie im RBF-Fall unendlich dimensional sein kann. Der Kernel nimmt lediglich das innere Produkt dieses transformierten Merkmalsvektors mit einem transformierten Merkmalsvektor eines Trainingsbeispiels und wendet eine Funktion auf das Ergebnis an. Somit repräsentiert es implizit diesen höherdimensionalen Merkmalsvektor. Denken Sie zum Beispiel daran, (x + y) ^ 2 anstelle von x ^ 2 + 2xy + y ^ 2 zu schreiben. Stellen Sie sich nun vor, welche unendlichen Reihen implizit durch die Exponentialfunktion dargestellt werden. Dort haben Sie Ihren unendlichen Merkmalsraum.

Die richtige Art, über SVMs nachzudenken, besteht darin, dass Sie Ihre Features einem möglicherweise unendlichen dimensionalen Feature-Space zuordnen, der implizit in einem weiteren endlichen dimensionalen Feature-Space "Kernel" darstellbar ist, dessen Dimension so groß sein kann wie die Größe des Trainingssatzes.