SVD einer Datenmatrix (PCA) nach dem Glätten

Angenommen, ich habe eine zentrierte Datenmatrix mit SVD . $n \times m$ $A$ $A = U \Sigma V^{T}$

Zum Beispiel Spalten (Messungen), die Spektren mit verschiedenen Frequenzen sind. Die Matrix ist zentriert, sodass der Mittelwert der Zeilen der Matrix abgezogen wird. Dies dient zur Interpretation der linken Singularvektoren als Hauptkomponenten. $m=50$ $n=100$

Ich bin daran interessiert zu verstehen, wie sich die SVD ändert, wenn ich jeden Spaltenvektor glatte. Beispiel: Lassen Sie uns jede 100x1-Spalte mit einem einfachen Kernel wie [1/3, 2/3, 1/3] glätten.

$S=\begin{bmatrix} \frac{2}{3}&\frac{1}{3}& & & & &\\ \frac{1}{3}&\frac{2}{3}&\frac{1}{3} & & & &\\ & \frac{1}{3}&\frac{2}{3}&\frac{1}{3} & & &\\ & & \ddots& \ddots & \ddots & & \\ & & & \frac{1}{3}&\frac{2}{3}&\frac{1}{3} & \\ & & & &\frac{1}{3}&\frac{2}{3}&\frac{1}{3} \\ & & & & &\frac{1}{3}&\frac{2}{3} \end{bmatrix}$

Die neue Datenmatrix ist also und hat eine SVD . $A'=SA$ $A' = U' \Sigma' V'^{T}$

Mein erster Gedanke war, dass ich seit erwarten sollte, dass die Vektoren genau wie die Vektoren geglättet werden. $SA = SU \Sigma V^{T}$ ${U'}_i$ $A_i$

Diese erste Gleichung sieht so aus, als ob Eigenvektoren von : $(SU)_i$ $A' A'^T$

S A (S A)^{T} = S U Σ Σ^{T} U^{T} S^{T}

$SA(SA)^T=SU\Sigma\Sigma^TU^TS^T$

Aber ich bin mir bei diesem nächsten nicht sicher, ob es gültig ist zu sagen, dass die Eigenvektoren von : $V_i$ $A'^T A'$

(S A)^{T} S A = V Σ^{T} U^{T} S^{T} S U Σ V^{T}

$(SA)^TSA=V\Sigma^TU^TS^TSU\Sigma V^T$

Wenn ich SVDs von und numerisch vergleiche, sind die linken Singularvektoren nicht das, was ich erwarte, , aber sie haben ein geglättetes Erscheinungsbild. $A$ $A'$ $U' \neq SU$

Kann mir jemand helfen, und die SVD nach dieser einfachen Transformation in Beziehung zu setzen ? $U \Sigma V^{T}$ $U' \Sigma' V'^{T}$

pca smoothing svd

— Andy
quelle

Warum deine ersten Gedanken dich in die Irre geführt haben:

Wenn Sie die SVD einer Matrix nehmen, und sind unitäre (orthogonal). Während es wahr ist, dass ist, ist dies (im Allgemeinen) nicht die SVD von . Nur wenn einheitlich ist (was im Fall einer Glättungsmatrix nicht der Fall ist), wäre . $U$ $V$ $SA = SU \Sigma V^{T}$ $SA$ $S$ $U' = SU$

Gibt es eine elegante, symbolische Art, die beiden SVDs in Beziehung zu setzen? Ich kann keinen finden. Ihre Glättungsmatrix ist jedoch eine Toeplitz-Matrix. Es ist möglich, dass solche Matrizen einige spezielle Eigenschaften haben, die für eine fruchtbarere Analyse sorgen könnten. Wenn Sie etwas herausfinden, teilen Sie es bitte mit dem Rest von uns.

Der Fall der extremen Glättung:

Eine Möglichkeit, über das Glätten nachzudenken, ist ein Kontinuum von keiner Glättung bis zum Äußersten, bei dem jede Spalte auf ihren Mittelwert geglättet wird. In diesem Extremfall hätte die Matrix einen Rang von 1 und es gäbe nur einen Singularwert ungleich Null. Schauen wir uns die SVD an:

$\left[ \begin{matrix} \uparrow & \uparrow & & \uparrow \\ \mu_1 & \mu_2 & ... & \mu_m \\ \downarrow & \downarrow & & \downarrow \end{matrix} \right] = \left[ \begin{matrix} \boldsymbol{\mu} \\ \boldsymbol{\mu} \\ ... \\ \end{matrix} \right] = \mathbf{1} \boldsymbol{\mu}^T = \dfrac{\mathbf{1}}{\sqrt{n}} \left[ \|\boldsymbol{\mu}\| \sqrt{n} \right] \dfrac{\boldsymbol{\mu}^T}{\|\boldsymbol{\mu}\|}$

Die letzte Gleichung repräsentiert die abgeschnittene SVD. Beachten Sie, dass der linke und der rechte Vektor die Länge 1 haben. Sie können zu einer orthogonalen Matrix erweitern. Ähnliches gilt für . Dann füllen Sie einfach die mittlere Matrix auf Null und Sie haben die volle SVD. $\frac{\mathbf{1}}{\sqrt{n}}$ $\frac{\boldsymbol{\mu}}{\|\boldsymbol{\mu}\|}$

Zwischenglättung

Vermutlich werden Sie keine so extreme Glättung durchführen. Was bedeutet das für Sie? Wenn wir die Glättung erweitern, wird das Spektrum allmählich auf einen einzigen Wert reduziert. Zum Beispiel in meinen Simulationen *:

Spektrum normal Spektrum Ortho

Wie durch die obige Ableitung vorgeschlagen, sich dem normierten 1-Vektor und dem normierten Mittelwertvektor. Aber was ist mit den anderen Vektoren? $U'_1$ $V'_1$

Wenn ihre entsprechenden Singularwerte schrumpfen, variieren die anderen und immer stärker, bis sie nur noch willkürliche Entscheidungen für Basen der zu und orthogonalen . Das heißt, das wird nur Lärm. $U'_i$ $V'_i$ $U'_1$ $V'_1$

Wenn Sie eine brauchen, warum sie "nur Rauschen" sind, , dass eine gewichtete Summe von Dyaden ist: . Wir könnten die Richtungen von und vollständig ändern , und es wird nur die Einträge von um weniger als . $SA$ $\displaystyle \sum \sigma_i U'_i V'^T_i$ $U'_i$ $V'_i$ $SA$ $\sigma_i$

Eine weitere Visualisierung

Hier ist eine andere Möglichkeit, die Spaltenglättung zu betrachten. Stellen Sie sich jede Zeile in der Matrix als Punkt im Raum vor. Wenn wir die Spalten glätten, kommt jeder Punkt dem vorherigen und dem nächsten Punkt näher. Insgesamt schrumpft die Punktwolke †: $m$

Zeilenpunktwolke

Hoffe das hilft!

_{[*]: Ich habe eine Familie von immer breiteren Glättern definiert. Grob gesagt nahm ich den Kernel [1/4, 1/2, 1/4], faltete ihn fach, schnitt ihn auf Dimensionen ab und normalisierte ihn so, dass er sich zu 1 summierte. Dann zeichnete ich die fortschreitende Glättung eines zufälligen Orthogonals und eine zufällige normale Matrix. $z$ $d$}

_{[†]: Auf die gleiche Weise erzeugte Glätter. besteht aus einer Reihe von Punkten im Raum, die interessant aussehen. $A$ $2$}

— Stumpy Joe Pete
quelle