Wie man die Wirkung von RBF SVM versteht

Wie kann ich verstehen, was der RBF-Kernel in SVM macht? Ich meine, ich verstehe die Mathematik, aber gibt es eine Möglichkeit, ein Gefühl dafür zu bekommen, wann dieser Kernel nützlich sein wird?

Wären die Ergebnisse von kNN mit SVM / RBF verbunden, da die RBF Vektorabstände enthält?

Gibt es eine Möglichkeit, ein Gefühl für den Polynomkern zu bekommen? Ich weiß, je höher die Dimension, desto wackeliger ist es. Aber ich möchte eine Vorstellung davon bekommen, was die Kernel tun, anstatt alle möglichen Kernel auszuprobieren und die erfolgreichsten auszuwählen.

svm kernel-trick

— Gerenuk
quelle

Sie können möglicherweise mit einer meiner Antworten beginnen:
Nichtlineare SVM-Klassifizierung mit RBF-Kernel

In dieser Antwort versuche ich zu erklären, was eine Kernelfunktion versucht zu tun. Wenn Sie wissen, was es versucht, lesen Sie meine Antwort auf eine Frage zu Quora: https://www.quora.com/Machine-Learning/Why-does-the-RBF- Radial-Basis-Funktion-Kernel-Karte-in-unendlichen-dimensionalen-Raum / Antwort / Arun-Iyer-1

Reproduzieren Sie den Inhalt der Antwort auf Quora, falls Sie keinen Quora-Account haben.

Frage: Warum wird der RBF-Kernel (Radial Base Function) in den unendlichen dimensionalen Raum abgebildet? Antwort: Betrachten Sie den Polynomkern vom Grad 2, der durch wobei und .
$k (x, y) = (x^{T} y)^{2}$ $k(x, y) = (x^Ty)^2$ $x, y \in \mathbb{R}^2$ $x = (x_1, x_2), y = (y_1, y_2)$
Dadurch kann die Kernelfunktion wie geschrieben werden: Lassen Sie uns nun versuchen, eine Feature-Map erstellen, bei der die Kernelfunktion als
$k (x, y) = (x_{1} y_{1} + x_{2} y_{2})^{2} = x_{1}^{2} y_{1}^{2} + 2 x_{1} x_{2} y_{1} y_{2} + x_{2}^{2} y_{2}^{2}$ $k(x, y) = (x_1y_1 + x_2y_2)^2 = x_{1}^2y_{1}^2 + 2x_1x_2y_1y_2 + x_{2}^2y_{2}^2$ $\Phi$ . $k(x, y) = \Phi(x)^T\Phi(y)$
Betrachten Sie die folgende Feature-Map: Grundsätzlich werden bei dieser Feature-Map die Punkte inauf Punkte in abgebildet. Beachten Sie auch, dass was im Wesentlichen unsere Kernelfunktion ist.
$Φ (x) = (x_{1}^{2}, \sqrt{2} x_{1} x_{2}, x_{2}^{2})$ $\Phi(x) = (x_1^2, \sqrt{2}x_1x_2, x_2^2)$ $\mathbb{R}^2$ $\mathbb{R}^3$ $Φ (x)^{T} Φ (y) = x_{1}^{2} y_{1}^{2} + 2 x_{1} x_{2} y_{1} y_{2} + x_{2}^{2} y_{2}^{2}$ $\Phi(x)^T\Phi(y) = x_1^2y_1^2 + 2x_1x_2y_1y_2 + x_2^2y_2^2$
Dies bedeutet, dass unsere Kernelfunktion tatsächlich das Innen- / Punktprodukt von Punkten in berechnet . Das heißt, es werden implizit unsere Punkte von auf abgebildet . $\mathbb{R}^3$ $\mathbb{R}^2$ $\mathbb{R}^3$

Übungsfrage : Wenn Ihre Punkte in , ordnet ein Polynomkern von Grad 2 sie implizit einem Vektorraum F zu. Welche Dimension hat dieser Vektorraum F? Hinweis: Alles, was ich oben getan habe, ist ein Hinweis. $\mathbb{R}^n$

Kommen wir jetzt zu RBF.

$\mathbb{R}^2$
$k (x, y) = \exp (- ‖ x - y ‖^{2}) = \exp (- (x_{1} - y_{1})^{2} - (x_{2} - y_{2})^{2})$ $k(x, y) = \exp(-\|x - y\|^2) = \exp(- (x_1 - y_1)^2 - (x_2 - y_2)^2)$ $= \exp (- x_{1}^{2} + 2 x_{1} y_{1} - y_{1}^{2} - x_{2}^{2} + 2 x_{2} y_{2} - y_{2}^{2})$ $= \exp(- x_1^2 + 2x_1y_1 - y_1^2 - x_2^2 + 2x_2y_2 - y_2^2)$ $= \exp (- ‖ x ‖^{2}) \exp (- ‖ y ‖^{2}) \exp (2 x^{T} y)$ $= \exp(-\|x\|^2) \exp(-\|y\|^2) \exp(2x^Ty)$ $k (x, y) = \exp (- ‖ x ‖^{2}) \exp (- ‖ y ‖^{2}) \sum_{n = 0}^{\infty} \frac{(2 x^{T} y)^{n}}{n!}$ $k(x, y) = \exp(-\|x\|^2) \exp(-\|y\|^2) \sum_{n = 0}^{\infty} \frac{(2x^Ty)^n}{n!}$ $\Phi$ $\mathbb{R}^2$
Übungsfrage : Erhalten Sie die ersten Vektorelemente der Feature-Map für RBF für den obigen Fall?

Nun können wir aus der obigen Antwort etwas schließen:

$\Phi$
$\Phi$ $\mathbb{R}^2$ $\Phi(x) = (x_1^2, \sqrt{2}x_1x_2, x_2^2)$

— TenaliRaman
quelle