Beweis der Nähe der Kernfunktionen unter punktuellem Produkt

12

Wie kann ich beweisen, dass das punktweise Produkt zweier Kernelfunktionen eine Kernelfunktion ist?

machine-learning kernel-trick

— Gigili
quelle

17

Mit punktuellem Produkt meine ich, dass wenn beide gültige Kernfunktionen sind, dann ihr Produkt $k_1(x,y), k_2(x,y)$

\begin{aligned} k_{p} (x, y) = k_{1} (x, y) k_{2} (x, y) \end{aligned}

$\begin{align} k_{p}( x, y) = k_1( x, y) k_2(x,y) \end{align}$

ist auch eine gültige Kernelfunktion.

Der Beweis dieser Eigenschaft ist ziemlich einfach, wenn wir den Satz von Mercer aufrufen. Da gültige Kernel sind, wissen wir (über Mercer), dass sie eine innere Produktdarstellung zulassen müssen. Läßt bezeichnet den Merkmalsvektor von und bezeichnen die gleichen für . $k_1, k_2$ $a$ $k_1$ $b$ $k_2$

\begin{aligned} k_{1} (x, y) = a (x)^{T} a (y), ein (z) = [{ein}_{1} (z), {ein}_{2} (z), \dots {ein}_{M.} (z)]] \\ k_{2} (x, y) = b (x)^{T.} b (y), b (z) = [b_{1} (z), b_{2} (z), \dots b_{N.} (z)]] \end{aligned}

$\begin{align} k_1(x,y) = a(x)^T a(y), \qquad a( z ) = [a_1(z), a_2(z), \ldots a_M(z)] \\ k_2(x,y) = b(x)^T b(y), \qquad b( z ) = [b_1(z), b_2(z), \ldots b_N(z)] \end{align}$

So ist eine Funktion , die ein produziert -dim Vektor und erzeugt eine -dim Vektor. $a$ $M$ $b$ $N$

Als nächstes schreiben wir das Produkt einfach in und und führen eine Umgruppierung durch. $a$ $b$

\begin{aligned} k_{p} (x, y) & = k_{1} (x, y) k_{2} (x, y) \\ = (\sum_{m = 1}^{M} a_{m} (x) a_{m} (y)) (\sum_{n = 1}^{N} b_{n} (x) b_{n} (y)) \\ = \sum_{m = 1}^{M} \sum_{n = 1}^{N} [a_{m} (x) b_{n} (x)] [a_{m} (y) b_{n} (y)] \\ = \sum_{m = 1}^{M} \sum_{n = 1}^{N} c_{m n} (x) c_{m n} (y) \\ = c (x)^{T} c (y) \end{aligned}

$\begin{align} k_{p}(x,y) &= k_1(x,y) k_2(x,y) \\&= \Big( \sum_{m=1}^M a_m(x) a_m(y) \Big) \Big( \sum_{n=1}^N b_n(x) b_n(y) \Big) \\&= \sum_{m=1}^M \sum_{n=1}^N [ a_m(x) b_n(x) ] [a_m(y) b_n(y)] \\&= \sum_{m=1}^M \sum_{n=1}^N c_{mn}( x ) c_{mn}( y ) \\&= c(x)^T c(y) \end{align}$

where $c(z)$ is an $M \cdot N$ -dimensional vector, s.t. $c_{mn}(z) = a_m(z) b_n(z)$ .

Now, because we can write $k_p(x,y)$ as an inner product using the feature map $c$ , we know $k_p$ is a valid kernel (via Mercer's theorem). That's all there is to it.

— Mike Hughes
quelle

How do you know that the feature Hilbert space is finite-dimensional? Couldn't it be even non-separable?

— Andrei Kh

According to your first paragraph we only know

k

$k$ kernel

⟹

$\implies$ the existence of an inner product representation. But in your conclusion you use that the existence of an inner product representation implies that

k_{p}

$k_p$ is a kernel. Why is that valid?

— Viktor Glombik

3

How about the following proof:

Source: UChicago kernel methods lecture, page 5

— PALEN
quelle

0

Assume $K1$ and $K2$ are the kernel matrix of these two kernel $k_1(x,y)$ and $k_2(x,y)$ , respectively, and they are PSD. We define $k(x,y) = k_1(x,y)k_2(x,y)$ and want to prove it is also a kernel. This is equivalent to prove its corresponding kernel matrix $K = K1 \circ K2$ is PSD.

$K_3 = K1 \otimes K2$ is a PSD (The kronecker product of two PSD is PSD).
$K$ is a principal submatrix of $K_3$ , and therefore is PSD (The principal submatrix of PSD is PSD).

— ceyao zhang
quelle