Schnelle Berechnung der komponentenweisen

Ich habe folgende Frage:

Angenommen, ich habe zwei Matrizen $X, Y$ der Größe $m\times p$ und eine zufällige iid-Gauß-Matrix $G$ der Größe $m \times k$ , $m\gg p>k$ .

Gibt es eine schnelle Möglichkeit, zu berechnen $\exp(-XY^T)G$ ? Vielleicht durch die Tatsache, dass sowohl $X$ als auch $Y$ viel kleiner als $XY^T$ ? Hier bedeutet $\exp(\cdot)$ eintragsbezogener Exponent (dh $\textbf{each}$ Eintrags der Matrix). Ohne den Exponenten ist es natürlich einfach und kann einfach mit $X(Y^TG)$ , aber das Problem ist, dass der elementweise Exponent keinen niedrigen Rang mehr hat.

Die Motivation für die Frage ist das Multiplizieren eines Kernels der Form

$D_{ij}=\exp(-d_{ij})$ oder $D_{ij}=\exp(-d_{ij}^2)$

$d_{ij}=\Vert x_i-y_j \Vert$ $x_i, y_i \in \mathbb{R}^p$

Eine ungefähre Lösung ist ebenfalls in Ordnung.

linear-algebra matrix

— Gil
quelle

Ich finde die Frage klar (ich habe selbst leider keine Ideen), aber die Tatsache, dass das Exponential komponentenweise ist, wird meiner Meinung nach viele Leute irreführen - ist eine sehr Standardnotation für Matrix exponentiell , insbesondere in der Theorie der ODEs und PDEs. Könnten Sie den Titel vielleicht etwas umformulieren?

\exp (A)

$\exp(A)$

— Kirill

Schnell definieren? Sie vektorisiert, ohne die gesamte Matrix ?

- X Y^{T}

$-XY^T$

— Nluigi

Rechenkomplexität niedriger als .

O (m^{2} k)

$\mathbb{O}(m^2k)$

— Gil

NIPS'16-Papier, das möglicherweise relevant ist. Papers.nips.cc/paper/6246-orthogonal-random-features

— Memming

Ich habe in die Zeitung geschaut, es ist sehr hilfreich. Vielen Dank! @Memming

— Gil

Wenn Annäherungen ausreichen, könnten wir vielleicht damit beginnen, den Operator wie folgt zu entwickeln: Beachten Sie, dass die Potenzbegriffe Ihrer elementweisen Notation und folgen beziehen sich auf die Hadamard-Mächte und missbrauchen leicht die Standardkonventionen. $\exp$

\exp (Z) = \sum_{k = 0}^{\infty} \frac{Z^{k}}{k!} = 1 + Z + \frac{Z^{2}}{2} + \frac{Z^{3}}{6} + \frac{Z^{4}}{24} + . . .

$\exp(Z) = \sum\limits_{k=0}^{\infty} \frac{Z^k}{k!} = 1+Z+\frac{Z^2}{2} + \frac{Z^3}{6} + \frac{Z^4}{24} + ...$

Dies gibt Möglichkeiten zum Umschreiben des Ausdrucks: wo eine entsprechend große Identitätsmatrix . Wenn man mit Näherungen erster Ordnung leben könnte, dann: was zu einer einfacheren Operation führt. Für Annäherungen höherer Ordnung möchten Sie die Lösung für die Hadamard-Leistung ausarbeiten, die wahrscheinlich etwas schwieriger ist, oder ich habe noch keine sofortige Lösung gesehen.

\begin{aligned} \exp (- X Y^{T}) G & = (I - X Y^{T} + \frac{(X Y^{T})^{2}}{2} - \frac{(X Y^{T})^{3}}{6} + \frac{(X Y^{T})^{4}}{24} - . . .) G \\ = G - X Y^{T} G + \frac{(X Y^{T})^{2} G}{2} - \frac{(X Y^{T})^{3} G}{6} + \frac{(X Y^{T})^{4} G}{24} - . . . \end{aligned}

$\begin{align} \exp{(-XY^T)}G &= \Big(I-XY^T+\frac{(XY^T)^2}{2} - \frac{(XY^T)^3}{6} + \frac{(XY^T)^4}{24} - ...\Big)G \\ &=G-XY^TG+\frac{(XY^T)^2G}{2} - \frac{(XY^T)^3G}{6} + \frac{(XY^T)^4G}{24} - ... \end{align}$

I

$I$

\begin{aligned} \exp (- X Y^{T}) G & = G - X Y^{T} G + O (m a x (| X Y^{T} |)^{2}) \\ \approx G - X Y^{T} G = G - X (Y^{T} G) \end{aligned}

$\begin{align} \exp{(-XY^T)}G &= G-XY^TG+ O(max(|XY^T|)^2)\\ &\approx G-XY^TG = G-X(Y^TG) \end{align}$

— Tolga Birdal
quelle

Gute Idee. Kleines Detail: dass stattdessen so etwas wie sollte.

O (n^{2})

$O(n^2)$

O ((‖ X ‖ ‖ Y ‖)^{2})

$O((\|X\|\|Y\|)^2)$

— Federico Poloni

@ FedericoPoloni, ich stimme zu. Wenn Sie eine passendere Notation als die Verwendung der Matrizennormen einführen könnten, würde ich diese gerne aktualisieren.

— Tolga Birdal

Die Verwendung von Normen erscheint mir angemessen, aber wenn Sie es vorziehen, können Sie sie als schreiben .

O (max (| X Y^{T} |)^{2})

$O(\max(|XY^T|)^2)$

— Federico Poloni

ok, aktualisiert.

— Tolga Birdal