Nystroem-Methode zur Kernel-Approximation

Ich habe über die Nyström-Methode für die Annäherung an Kernel mit niedrigem Rang gelesen. Diese Methode wird in scikit-learn [1] implementiert, um Datenproben auf eine niedrigrangige Näherung der Kernel-Feature-Mapping zu projizieren.

Nach meinem besten Wissen erzeugt es bei gegebenem Trainingssatz und einer Kernelfunktion eine niedrigrangige Approximation der Kernelmatrix durch Anwenden von SVD auf und . $\{x_i\}_{i=1}^n$ $n \times n$ $K$ $W$ $C$

$K = \left [ \begin{array}{cc} W & K_{21}^T \\ K_{21} & K_{22} \end{array} \right ]$ $C = \left [\begin{array}{cc} W \\ K_{21} \end{array}\right ]$ , $W \in \mathbb{R}^{l\times l}$

Aber ich verstehe nicht , wie die Low-Rang Approximation der Kernel - Matrix verwendet werden kann , neue Proben zu dem angenäherten Kernel - Feature Raum zu projizieren . Die Papiere, die ich gefunden habe (zB [2]), sind keine große Hilfe, da sie wenig didaktisch sind.

Ich bin auch neugierig auf die rechnerische Komplexität dieser Methode, sowohl in der Trainings- als auch in der Testphase.

[1] http://scikit-learn.org/stable/modules/kernel_approximation.html#nystroem-kernel-approx

[2] http://www.jmlr.org/papers/volume13/kumar12a/kumar12a.pdf

— Daniel López
quelle

Lassen Sie uns die Nyström-Näherung so ableiten, dass die Antworten auf Ihre Fragen klarer werden.

Die Hauptannahme in Nyström ist, dass die Kernelfunktion den Rang . (Wir gehen wirklich davon aus, dass es ungefähr Rang , aber der Einfachheit halber tun wir einfach so, als wäre es genau Rang .) Das bedeutet, dass jede Kernelmatrix höchstens Rang haben wird , insbesondere ist Rang . Daher gibt es Eigenwerte ungleich Null, und wir können die Eigenzerlegung von als schreiben $m$ $m$ $m$ $m$

K = [\begin{matrix} k (x_{1}, x_{1}) & \dots & k (x_{1}, x_{n}) \\ ⋮ & ⋱ & ⋮ \\ k (x_{n}, x_{1}) & \dots & k (x_{n}, x_{n}) \end{matrix}],

$K = \begin{bmatrix} k(x_1, x_1) & \dots & k(x_1, x_n) \\ \vdots & \ddots & \vdots \\ k(x_n, x_1) & \dots & k(x_n, x_n) \end{bmatrix} ,$

m

$m$

m

$m$

K

$K$

K = U Λ U^{T}

$K = U \Lambda U^T$ mit in gespeicherten Eigenvektoren mit der Form und Eigenwerten, die in angeordnet sind , einer Diagonalmatrix.

U

$U$

n \times m

$n \times m$

Λ

$\Lambda$

m \times m

$m \times m$

Wählen wir also Elemente aus, normalerweise gleichmäßig zufällig, aber möglicherweise nach anderen Schemata - alles, was in dieser vereinfachten Version zählt, ist, dass den vollen Rang hat. Sobald wir dies getan haben, beschriften Sie die Punkte einfach neu, sodass wir die Kernelmatrix in Blöcken erhalten: wo wir jeden Eintrag in (das ist ) und ( ) auswerten, aber keine Einträge in auswerten wollen . $m$ $K_{11}$

K = [\begin{matrix} K_{11} & K_{21}^{T} \\ K_{21} & K_{22} \end{matrix}],

$K = \begin{bmatrix} K_{11} & K_{21}^T \\ K_{21} & K_{22} \end{bmatrix} ,$

K_{11}

$K_{11}$

m \times m

$m \times m$

K_{21}

$K_{21}$

(n - m) \times m

$(n-m) \times m$

K_{22}

$K_{22}$

Jetzt können wir die Eigendekomposition auch nach dieser Blockstruktur aufteilen: wo ist und ist . Beachten Sie jedoch, dass wir jetzt . Wir können also und indem wir die bekannte Matrix .

\begin{aligned} K & = U Λ U^{T} \\ = [\begin{matrix} U_{1} \\ U_{2} \end{matrix}] Λ {[\begin{matrix} U_{1} \\ U_{2} \end{matrix}]}^{T} \\ = [\begin{matrix} U_{1} Λ U_{1}^{T} & U_{1} Λ U_{2}^{T} \\ U_{2} Λ U_{1}^{T} & U_{2} Λ U_{2}^{T} \end{matrix}], \end{aligned}

$\begin{align} K &= U \Lambda U^T \\&= \begin{bmatrix}U_1 \\ U_2\end{bmatrix} \Lambda \begin{bmatrix}U_1 \\ U_2\end{bmatrix}^T \\&= \begin{bmatrix} U_1 \Lambda U_1^T & U_1 \Lambda U_2^T \\ U_2 \Lambda U_1^T & U_2 \Lambda U_2^T \end{bmatrix} ,\end{align}$

U_{1}

$U_1$

m \times m

$m \times m$

U_{2}

$U_2$

(n - m) \times m

$(n-m) \times m$

K_{11} = U_{1} Λ U_{1}^{T}

$K_{11} = U_1 \Lambda U_1^T$

U_{1}

$U_1$

Λ

$\Lambda$

K_{11}

$K_{11}$

Wir wissen auch , dass . Hier wissen wir alles in dieser Gleichung außer , damit wir können, welche Eigenwerte dies implizieren: Multiplizieren Sie beide Seiten mit , um zu erhalten Jetzt haben wir alles, was wir brauchen, um zu bewerten : $K_{21} = U_2 \Lambda U_1^T$ $U_2$ $(\Lambda U_1^T)^{-1} = U_1 \Lambda^{-1}$

U_{2} = K_{21} U_{1} Λ^{- 1} .

$U_2 = K_{21} U_1 \Lambda^{-1} .$

K_{22}

$K_{22}$

\begin{aligned} K_{22} & = U_{2} Λ U_{2}^{T} \\ = (K_{21} U_{1} Λ^{- 1}) Λ {(K_{21} U_{1} Λ^{- 1})}^{T} \\ = K_{21} U_{1} (Λ^{- 1} Λ) Λ^{- 1} U_{1}^{T} K_{21}^{T} \\ = K_{21} U_{1} Λ^{- 1} U_{1}^{T} K_{21}^{T} \\ (*) & = K_{21} K_{11}^{- 1} K_{21}^{T} \\ (**) & = (K_{21} K_{11}^{- \frac{1}{2}}) {(K_{21} K_{11}^{- \frac{1}{2}})}^{T} . \end{aligned}

$\begin{align} K_{22} &= U_2 \Lambda U_2^T \\&= \left(K_{21} U_1 \Lambda^{-1}\right) \Lambda \left(K_{21} U_1 \Lambda^{-1}\right)^T \\&= K_{21} U_1 (\Lambda^{-1} \Lambda) \Lambda^{-1} U_1^T K_{21}^T \\&= K_{21} U_1 \Lambda^{-1} U_1^T K_{21}^T \\&= K_{21} K_{11}^{-1} K_{21}^T \tag{*} \\&= \left( K_{21} K_{11}^{-\frac12} \right) \left( K_{21} K_{11}^{-\frac12} \right)^T \tag{**} .\end{align}$

In (*) haben wir eine Version der Nyström-Einbettung gefunden, die Sie möglicherweise einfach als Definition gesehen haben. Dies sagt uns die effektiven Kernelwerte, die wir für den Block . $K_{22}$

In (**) sehen wir, dass die Merkmalsmatrix , die Form ist, diesen unterstellten Kernelwerten entspricht. Wenn wir für die Punkte verwenden, haben wir eine Reihe von dimensionalen Merkmalen Wir können nur schnell überprüfen, ob der richtigen Kernelmatrix entspricht: $K_{21} K_{11}^{-\frac12}$ $(n-m) \times m$ $K_{11}^{\frac12}$ $m$ $m$

Φ = [\begin{matrix} K_{11}^{\frac{1}{2}} \\ K_{21} K_{11}^{- \frac{1}{2}} \end{matrix}] .

$\Phi = \begin{bmatrix} K_{11}^{\frac12} \\ K_{21} K_{11}^{-\frac12} \end{bmatrix} .$

Φ

$\Phi$

\begin{aligned} Φ Φ^{T} & = [\begin{matrix} K_{11}^{\frac{1}{2}} \\ K_{21} K_{11}^{- \frac{1}{2}} \end{matrix}] {[\begin{matrix} K_{11}^{\frac{1}{2}} \\ K_{21} K_{11}^{- \frac{1}{2}} \end{matrix}]}^{T} \\ = [\begin{matrix} K_{11}^{\frac{1}{2}} K_{11}^{\frac{1}{2}} & K_{11}^{\frac{1}{2}} K_{11}^{- \frac{1}{2}} K_{21}^{T} \\ K_{21} K_{11}^{- \frac{1}{2}} K_{11}^{\frac{1}{2}} & K_{21} K_{11}^{- \frac{1}{2}} K_{11}^{- \frac{1}{2}} K_{21}^{T} \end{matrix}] \\ = [\begin{matrix} K_{11} & K_{21}^{T} \\ K_{21} & K_{21} K_{11}^{- 1} K_{21}^{T} \end{matrix}] \\ = K . \end{aligned}

$\begin{align} \Phi \Phi^T &= \begin{bmatrix} K_{11}^{\frac12} \\ K_{21} K_{11}^{-\frac12} \end{bmatrix} \begin{bmatrix} K_{11}^{\frac12} \\ K_{21} K_{11}^{-\frac12} \end{bmatrix}^T \\&=\begin{bmatrix} K_{11}^{\frac12} K_{11}^{\frac12} & K_{11}^{\frac12} K_{11}^{-\frac12} K_{21}^T \\ K_{21} K_{11}^{-\frac12} K_{11}^{\frac12} & K_{21} K_{11}^{-\frac12} K_{11}^{-\frac12} K_{21}^T \end{bmatrix} \\&=\begin{bmatrix} K_{11} & K_{21}^T \\ K_{21} & K_{21} K_{11}^{-1} K_{21}^T \end{bmatrix} \\&= K .\end{align}$

Alles was wir tun müssen, ist unser reguläres Lernmodell mit den dimensionalen Merkmalen trainieren . Dies wird genau das gleiche (unter den Annahmen , die wir gemacht haben) als kernelized Version des Lernproblem mit . $m$ $\Phi$ $K$

Nun, für einen einzelnen Datenpunkt , die Merkmale in entsprechen Für einen Punkt in Partition 2 ist der Vektor nur die relevante Zeile von , so dass das Stapeln diese geben uns - also stimmt für Punkte in Partition 2 überein. Es funktioniert auch in Partition 1: Dort ist der Vektor eine Reihe von , also erhält das Stapeln und stimmt erneut mit $x$ $\Phi$

ϕ (x) = [\begin{matrix} k (x, x_{1}) & \dots & k (x, x_{m}) \end{matrix}] K_{11}^{- \frac{1}{2}} .

$\phi(x) = \begin{bmatrix} k(x, x_1) & \dots & k(x, x_m) \end{bmatrix} K_{11}^{-\frac12} .$

x

$x$

[\begin{matrix} k (x, x_{1}) & \dots & k (x, x_{m}) \end{matrix}]

$\begin{bmatrix} k(x, x_1) & \dots & k(x, x_m) \end{bmatrix}$

K_{21}

$K_{21}$

K_{21} K_{11}^{- \frac{1}{2}}

$K_{21} K_{11}^{-\frac12}$

ϕ (x)

$\phi(x)$

K_{11}

$K_{11}$

K_{11} K_{11}^{- \frac{1}{2}} = K_{11}^{\frac{1}{2}}

$K_{11} K_{11}^{-\frac12} = K_{11}^{\frac12}$

Φ

$\Phi$ . Also ... es gilt immer noch für einen Testpunkt Zeitpunkt des Trainings nicht . Sie machen einfach das Gleiche: Da wir angenommen haben, dass der Kernel Rang , ist die Matrix hat ebenfalls den Rang , und die Rekonstruktion von ist nach genau derselben Logik wie bei immer noch genau .

x_{new}

$x_\text{new}$

Φ_{test} = K_{test, 1} K_{11}^{- \frac{1}{2}} .

$\Phi_\text{test} = K_{\text{test},1} K_{11}^{-\frac12} .$

m

$m$

[\begin{matrix} K_{train} & K_{train,test} \\ K_{test,train} & K_{test} \end{matrix}]

$\begin{bmatrix}K_{\text{train}} & K_{\text{train,test}} \\ K_{\text{test,train}} & K_{\text{test}} \end{bmatrix}$

m

$m$

K_{test}

$K_\text{test}$

K_{22}

$K_{22}$

Oben, gingen wir davon aus, dass die Kernmatrix war genau Rang . Dies wird normalerweise nicht der Fall sein; für einen Gauß - Kern, beispielsweise ist immer Rang , aber die letztere Eigenwert normalerweise ziemlich schnell abfallen, so dass es sein wird nahe an eine Matrix von Rang , und unsere Rekonstruktionen von oder werden nahe an den wahren Werten liegen, aber nicht genau gleich. Je näher der Eigenraum von dem von kommt, besser sind die Rekonstruktionen

K

$K$

m

$m$

K

$K$

n

$n$

m

$m$

K_{21}

$K_{21}$

K_{test, 1}

$K_{\text{test},1}$

K_{11}

$K_{11}$

K

$K$ Insgesamt ist die Auswahl der richtigen Punkte in der Praxis daher wichtig.

m

$m$

Beachten Sie auch, dass Sie, wenn Null-Eigenwerte hat, Inversen durch Pseudoinverse ersetzen können und alles immer noch funktioniert. Sie ersetzen einfach in der Rekonstruktion durch . $K_{11}$ $K_{21}$ $K_{21} K_{11}^\dagger K_{11}$

Sie können die SVD anstelle der Eigendekomposition verwenden, wenn Sie möchten. Da psd ist, sind sie dasselbe, aber die SVD ist möglicherweise etwas robuster gegenüber geringfügigen numerischen Fehlern in der Kernel-Matrix und dergleichen. Genau das macht Scikit-Learn. Die eigentliche Implementierung von scikit-learn tut dies, obwohl sie in der Inversen anstelle der Pseudoinverse verwendet. $K$ $\max(\lambda_i, 10^{-12})$

— Dougal
quelle

Wenn positiv semidefinit ist, stimmt die Eigenzerlegung mit der SVD überein. Scikit-Learn, weil aufgrund numerischer Fehler könnte leicht nicht-psd sein, berechnet statt und verwendet , so dass ‚s Funktionen werden . Im Grunde ist es dasselbe.

A

$A$

U Λ U^{T}

$U \Lambda U^T$

A

$A$

U Σ V^{T}

$U \Sigma V^T$

A^{- \frac{1}{2}} = V Σ^{- \frac{1}{2}} V^{T}

$A^{-\frac12} = V \Sigma^{-\frac12} V^T$

A

$A$

A V Σ^{- \frac{1}{2}} V^{T} = U Σ V^{T} V Σ^{- \frac{1}{2}} V^{T} = U Σ^{\frac{1}{2}} V^{T} = A^{\frac{1}{2}}

$A V \Sigma^{-\frac12} V^T = U \Sigma V^T V \Sigma^{-\frac12} V^T = U \Sigma^{\frac12} V^T = A^{\frac12}$

— Dougal

Hoppla, sorry, ja, sie benutzen . Es ist nicht wirklich wichtig, seit , aber da sie die Transponierung durchführen, enden die Funktionen für als .

U Σ^{- \frac{1}{2}} V^{T} = K^{- \frac{1}{2}}

$U \Sigma^{-\frac12} V^T = K^{-\frac12}$

U \approx V

$U \approx V$

K_{11}

$K_{11}$

U Σ V^{T} V Σ^{- \frac{1}{2}} U^{T} = U Σ^{\frac{1}{2}} U^{T}

$U\Sigma V^T V \Sigma^{-\frac12} U^T = U \Sigma^{\frac12} U^T$

— Dougal

Das Erhöhen einer Diagonalmatrix auf eine Potenz entspricht dem Erhöhen jedes Elements auf eine Potenz und . In der Numpy-Broadcast-Notation entspricht die elementweise Multiplikation mit einem Vektor der rechten Multiplikation mit einer Diagonalmatrix. Außerdem verwendet dieser Code zu bedeuten, was ich .

x^{- \frac{1}{2}} = 1 / \sqrt{x}

$x^{-\frac12} = 1 / \sqrt x$

V

$V$

V^{T}

$V^T$

— Dougal

Hoppla, sorry, das sollte nur bis zu (in der neu beschrifteten Reihenfolge, damit das die Nyström-Basispunkte sind). Wird behoben.

x_{m}

$x_m$

— Dougal

x

$x$ ist ein Datenpunkt, dessen Dimension hier nicht angegeben ist. könnte in , oder es könnte eine Zeichenfolge oder etwas sein; einfach sagen , dass , so dass . Dann stapelt nur für verschiedene Eingaben.

x

$x$

R^{d}

$\mathbb R^d$

x \in X

$x \in \mathcal X$

k : X \times X \to R

$k : \mathcal X \times \mathcal X \to \mathbb R$

ϕ : X \to R^{m}

$\phi : \mathcal X \to \mathbb R^m$

k (x, x_{i})

$k(x, x_i)$

m

$m$

— Dougal