Inverse Kovarianzmatrix gegen Kovarianzmatrix in PCA

Macht es in PCA einen Unterschied, ob wir Hauptkomponenten der inversen Kovarianzmatrix auswählen oder ob wir Eigenvektoren der Kovarianzmatrix fallen lassen, die großen Eigenwerten entsprechen?

Dies hängt mit der Diskussion in diesem Beitrag zusammen .

machine-learning pca computational-statistics

— Mustafa Arif
quelle

Antworten:

Beachten Sie, dass für die positive definitive Kovarianzmatrix die Genauigkeit . $\mathbf \Sigma = \mathbf{UDU}'$ $\boldsymbol \Sigma^{-1} = \mathbf {U D}^{-1} \mathbf U'$

Die Eigenvektoren bleiben also gleich, aber die Eigenwerte der Genauigkeit sind die Kehrwerte der Eigenwerte der Kovarianz. Das heißt, die größten Eigenwerte der Kovarianz sind die kleinsten Eigenwerte der Präzision. Da Sie die Umkehrung haben, garantiert eine positive Bestimmtheit, dass alle Eigenwerte größer als Null sind.

$k$ $\bf D^{-1}$

— Vermutungen
quelle

+1, aber ich denke, Ihr Satz "Also ja, es macht einen Unterschied" könnte für das OP verwirrend sein. Das Q ist nicht sehr klar, aber ich denke, sie haben gefragt, ob es einen Unterschied zwischen der Auswahl der größten Eigenwerte der inv cov-Matrix und der Auswahl der kleinsten Eigenwerte (= Löschen der größten) der cov-Matrix gibt. Auf diese Frage lautet die Antwort, dass sie gleichwertig ist. Wenn Sie diesen Satz einfach ausschneiden, ist die Antwort vielleicht klarer.

— Amöbe sagt Reinstate Monica

Danke, ich verstehe was du meinst und habe entsprechend bearbeitet.

— Vermutungen

Eigentlich war der letzte Satz gut, ich hätte ihn behalten!

— Amöbe sagt Reinstate Monica

@conjectures Danke, das ist die perfekte Erklärung.

— Mustafa Arif

Zusätzlich ist die inverse Kovarianzmatrix proportional zur partiellen Korrelation zwischen den Vektoren:

Corr(Xi, Xj | (Xothers )

Die Korrelation zwischen Xi und Xj, wenn alle anderen festgelegt sind, ist für Zeitreihen sehr nützlich.

— quantCode
quelle

Das stimmt, aber was hat das mit PCA zu tun?

— Amöbe sagt Reinstate Monica