Wie kann man beweisen, dass die radiale Basisfunktion ein Kernel ist?

35

Wie kann man beweisen, dass die radiale Basisfunktion ein Kernel ist? Um dies zu beweisen, müssen wir meines Wissens eine der folgenden Aussagen treffen: $k(x, y) = \exp(-\frac{||x-y||^2)}{2\sigma^2})$

Für jede Menge von Vektoren Matrix = positiv semidefinit. $x_1, x_2, ..., x_n$ $K(x_1, x_2, ..., x_n)$ $(k(x_i, x_j))_{n \times n}$
Eine Abbildung kann wie = . $\Phi$ $k(x, y)$ $\langle\Phi(x), \Phi(y)\rangle$

Irgendeine Hilfe?

svm kernel-trick

— Löwe
quelle

1

Um es klarer zu verknüpfen: In dieser Frage wird auch die Feature-Map erörtert , insbesondere Marc Claesens Antwort auf der Grundlage der Taylor-Reihe und meiner, in der sowohl die RKHS- als auch die allgemeine Version der von Douglas unten angegebenen Einbettung werden.

L_{2}

$L_2$

— Dougal,

26

Zen verwendete Methode 1. Hier ist Methode 2: Ordne einer sphärisch symmetrischen Gaußschen Verteilung zu, die bei im Hilbert-Raum zentriert ist . Die Standardabweichung und ein konstanter Faktor müssen angepasst werden, damit dies genau funktioniert. Zum Beispiel in einer Dimension, $x$ $x$ $L^2$

\int_{- \infty}^{\infty} \frac{\exp [- (x - z)^{2} / (2 σ^{2})]}{\sqrt{2 π} σ} \frac{\exp [- (y - z)^{2} / (2 σ^{2})}{\sqrt{2 π} σ} d z = \frac{\exp [- (x - y)^{2} / (4 σ^{2})]}{2 \sqrt{π} σ} .

$\int_{-\infty}^\infty \frac{\exp[-(x-z)^2/(2\sigma^2)]}{\sqrt{2 \pi} \sigma} \frac{\exp[-(y-z)^2/(2 \sigma^2)}{\sqrt{2 \pi} \sigma} dz = \frac{\exp [-(x-y)^2/(4 \sigma^2)]}{2 \sqrt \pi \sigma}.$

Verwenden Sie also eine Standardabweichung von und skalieren Sie die Gaußsche Verteilung, um . Diese letzte Neuskalierung erfolgt, weil die Norm einer Normalverteilung im Allgemeinen nicht . $\sigma/\sqrt 2$ $k(x,y) = \langle \Phi(x), \Phi(y)\rangle$ $L^2$ $1$

— Douglas Zare
quelle

2

@Zen, Douglas Zare: Danke für deine tollen Antworten. Wie soll ich jetzt die offizielle Antwort auswählen?

— Leo

23

Ich werde Methode 1 anwenden. Überprüfen Sie die Antwort von Douglas Zare auf einen Beweis, indem Sie Methode 2 anwenden.

Ich werde den Fall beweisen, wenn reelle Zahlen sind, also . Der allgemeine Fall folgt mutatis mutandis aus demselben Argument und ist es wert, getan zu werden. $x,y$ $k(x,y)=\exp(-(x-y)^2/2\sigma^2)$

Nehmen wir ohne Verlust der Allgemeinheit an, dass . $\sigma^2=1$

Schreibe , wobei ist die charakteristische Funktion einer Zufallsvariablen mit -Verteilung. $k(x,y)=h(x-y)$

h (t) = \exp (- \frac{t^{2}}{2}) = E [e^{i t Z}]

$h(t)=\exp\left(-\frac{t^2}{2}\right)=\mathrm{E}\left[e^{itZ}\right]$

Z

$Z$

N (0, 1)

$N(0,1)$

Für reelle Zahlen und gilt was zur Folge hat, dass eine positive semidefinite Funktion, auch bekannt als Kernel, ist. $x_1,\dots,x_n$ $a_1,\dots,a_n$

\sum_{j, k = 1}^{n} a_{j} a_{k} h (x_{j} - x_{k}) = \sum_{j, k = 1}^{n} a_{j} a_{k} E [e^{i (x_{j} - x_{k}) Z}] = E [\sum_{j, k = 1}^{n} a_{j} e^{i x_{j} Z} a_{k} e^{- i x_{k} Z}] = E [{| \sum_{j = 1}^{n} a_{j} e^{i x_{j} Z} |}^{2}] \geq 0,

$\sum_{j,k=1}^n a_j\,a_k\,h(x_j-x_k) = \sum_{j,k=1}^n a_j\,a_k\,\mathrm{E} \left[ e^{i(x_j-x_k)Z}\right] = \mathrm{E} \left[ \sum_{j,k=1}^n a_j\,e^{i x_j Z}\,a_k\,e^{-i x_k Z}\right] = \mathrm{E}\left[ \left| \sum_{j=1}^n a_j\,e^{i x_j Z}\right|^2\right] \geq 0 \, ,$

k

$k$

Um dieses Ergebnis allgemeiner zu verstehen, lesen Sie Bochners Theorem: http://en.wikipedia.org/wiki/Positive-definite_function

— Zen
quelle

2

Dies ist ein guter Start in die richtige Richtung mit zwei Einschränkungen: (a) nicht der gezeigten Erwartung (überprüfen Sie das Vorzeichen im Exponenten) und (b) dies scheint die Aufmerksamkeit auf den Fall zu beschränken, in dem und sind Skalare und keine Vektoren. Ich habe in der Zwischenzeit abgestimmt, weil die Ausstellung schön und sauber ist und Sie diese kleinen Lücken sicher schnell schließen werden. :-)

h (t)

$h(t)$

x

$x$

y

$y$

— Kardinal

1

Tks! Ich habe es eilig hier. :-)

— Zen

1

Entschuldigung, ich verstehe wirklich nicht, wie Sie das mutatis mutandis hier handhaben. Wenn Sie die Norm entwickeln, bevor Sie zur Form , erhalten Sie Produkte, und Sie können Produkte und Summe nicht tauschen. Und ich sehe einfach nicht, wie ich die Norm entwickeln soll, nachdem ich zur h-Form übergegangen bin, um einen schönen Ausdruck zu erhalten. Kannst du mich ein bisschen dorthin führen? :)

h

$h$

— Alburkerk

23

Aus Gründen der Abwechslung füge ich eine dritte Methode hinzu: Aufbau des Kernels aus einer Folge allgemeiner Schritte, die bekannt sind, um pd-Kernel zu erstellen. Lassen bezeichnet die Domäne des Kerns unten und die Feature - Karten. $\mathcal X$ $\varphi$

Skalierungen: Wenn ein pd-Kernel ist, ist es auch für jede Konstante . $\kappa$ $\gamma \kappa$ $\gamma > 0$

Beweis: Wenn die Feature-Map für , ist eine gültige Feature-Map für . $\varphi$ $\kappa$ $\sqrt\gamma \varphi$ $\gamma \kappa$
Summen: Wenn und pd-Kernel sind, ist es auch . $\kappa_1$ $\kappa_2$ $\kappa_1 + \kappa_2$

Beweis: Verketten Sie die Feature-Maps und , um . $\varphi_1$ $\varphi_2$ $x \mapsto \begin{bmatrix}\varphi_1(x) \\ \varphi_2(x)\end{bmatrix}$
: Wenn pd-Kernel sind und für alle , dann ist pd. $\kappa_1, \kappa_2, \dots$ $\kappa(x, y) := \lim_{n \to \infty} \kappa_n(x, y)$ $x, y$ $\kappa$

Beweis: Für jedes und jedes wir das . Wenn Sie das Limit auf die gleiche Eigenschaft für . $m, n \ge 1$ $\{ (x_i, c_i) \}_{i=1}^m \subseteq \mathcal{X} \times \mathbb R$ $\sum_{i=1}^m c_i \kappa_n(x_i, x_j) c_j \ge 0$ $n \to \infty$ $\kappa$
Produkte: Wenn und pd-Kernel sind, ist . $\kappa_1$ $\kappa_2$ $g(x, y) = \kappa_1(x, y) \, \kappa_2(x, y)$

Beweis: Es folgt unmittelbar aus dem Schur-Produktsatz , aber Schölkopf und Smola (2002) geben den folgenden schönen, elementaren Beweis. Es sei unabhängig sein. Somit ist Kovarianzmatrizen müssen psd sein, daher beweist dies die Kovarianzmatrix von .
$(V_{1}, \dots, V_{m}) \sim N (0, {[κ_{1} (x_{i}, x_{j})]}_{i j}) (W_{1}, \dots, W_{m}) \sim N (0, {[κ_{2} (x_{i}, x_{j})]}_{i j})$ $(V_1, \dots, V_m) \sim \mathcal{N}\left( 0, \left[ \kappa_1(x_i, x_j) \right]_{ij} \right) \\ (W_1, \dots, W_m) \sim \mathcal{N}\left( 0, \left[ \kappa_2(x_i, x_j) \right]_{ij} \right)$ $C o v (V_{i} W_{i}, V_{j} W_{j}) = C o v (V_{i}, V_{j}) C o v (W_{i}, W_{j}) = κ_{1} (x_{i}, x_{j}) κ_{2} (x_{i}, x_{j}) .$ $\mathrm{Cov}(V_i W_i, V_j W_j) = \mathrm{Cov}(V_i, V_j) \,\mathrm{Cov}(W_i, W_j) = \kappa_1(x_i, x_j) \kappa_2(x_i, x_j).$ $(V_1 W_1, \dots, V_n W_n)$
Potenzen: Wenn ein pd-Kernel ist, ist für eine beliebige positive ganze Zahl . $\kappa$ $\kappa^n(x, y) := \kappa(x, y)^n$ $n$

Beweis: unmittelbar ab dem "Produkt" -Eigentum.
Exponenten: Wenn ein pd-Kernel ist, ist es auch . $\kappa$ $e^\kappa(x, y) := \exp(\kappa(x, y))$

Beweis: Wir haben ; Verwenden Sie die Eigenschaften "Potenzen", "Skalierungen", "Summen" und "Grenzen". $e^\kappa(x, y) = \lim_{N \to \infty} \sum_{n=0}^N \frac{1}{n!} \kappa(x, y)^n$
Funktionen: Wenn ein pd-Kernel ist und , ist ebenfalls. $\kappa$ $f : \mathcal X \to \mathbb R$ $g(x, y) := f(x) \kappa(x, y) f(y)$

Beweis: Verwenden Sie die Feature-Map . $x \mapsto f(x) \varphi(x)$

Beachten Sie nun, dass Beginne mit dem linearen Kernel , wende "Skalierungen" mit , wende "Exponenten" an und wende "Funktionen" mit .

\begin{aligned} k (x, y) & = \exp (- \frac{1}{2 σ^{2}} ‖ x - y ‖^{2}) \\ = \exp (- \frac{1}{2 σ^{2}} ‖ x ‖^{2}) \exp (\frac{1}{σ^{2}} x^{T} y) \exp (- \frac{1}{2 σ^{2}} ‖ y ‖^{2}) . \end{aligned}

$\begin{align*} k(x, y) &= \exp\left( - \tfrac{1}{2 \sigma^2} \lVert x - y \rVert^2 \right) \\&= \exp\left( - \tfrac{1}{2 \sigma^2} \lVert x \rVert^2 \right) \exp\left( \tfrac{1}{\sigma^2} x^T y \right) \exp\left( - \tfrac{1}{2 \sigma^2} \lVert y \rVert^2 \right) .\end{align*}$

κ (x, y) = x^{T} y

$\kappa(x, y) = x^T y$

\frac{1}{σ^{2}}

$\frac{1}{\sigma^2}$

x \mapsto \exp (- \frac{1}{2 σ^{2}} ‖ x ‖^{2})

$x \mapsto \exp\left( - \tfrac{1}{2 \sigma^2} \lVert x \rVert^2 \right)$

— Dougal
quelle