Beziehung zwischen Gramm- und Kovarianzmatrizen

Für ein $n\times p$ Matrix $X$, wo $p \gg n$, wie ist die Beziehung zwischen $X^{T}X$ (Streumatrix, auf der die Kovarianzmatrix basiert) und $XX^{T}$ (äußeres Produkt manchmal Gram-Matrix genannt)?

Wenn einer bekannt ist, wie ist es möglich , den anderen zu erhalten (das Beste, was man tun kann)?

Eine Singular Value Decomposition (SVD) von $X$ drückt es aus als

wo $U$ ist ein $n\times r$ Matrix, deren Spalten zueinander orthonormal sind, $V$ ist ein $p\times r$ Matrix, deren Spalten zueinander orthonormal sind, und $D$ ist ein $r\times r$ Diagonalmatrix mit positiven Werten (die "Singularwerte" von $X$) auf der Diagonale. Notwendig$r$- was ist der Rang von $X$--kann nicht größer sein als beides $n$ oder $p$.

Damit berechnen wir

und

Obwohl wir uns erholen können $D^2$ durch Diagonalisierung eines von $X^\prime X$ oder $X X^\prime$Ersteres gibt keine Auskunft über $U$ und letzteres gibt keine Auskunft über $V$. Jedoch,$U$ und $V$ sind völlig unabhängig voneinander - beginnend mit einem von ihnen, zusammen mit $D$können Sie die andere beliebig auswählen (abhängig von den Orthonormalitätsbedingungen) und eine gültige Matrix erstellen $X$. Deshalb$D^2$enthält alle Informationen, die den Matrizen gemeinsam sind$X^\prime X$ und $X X^\prime$.

Es gibt eine schöne geometrische Interpretation, die dazu beiträgt, dies zu überzeugen. Mit der SVD können wir jede lineare Transformation anzeigen$T_X$ (wie durch die Matrix dargestellt $X$) von $\mathbb{R}^p$ zu $\mathbb{R}^n$ in Bezug auf drei leicht verständliche lineare Transformationen:

$V$ ist die Matrix einer Transformation $T_V:\mathbb{R}^r \to \mathbb{R}^p$das ist eins zu eins (hat keinen Kernel) und isometrisch. Das heißt, es dreht sich$\mathbb{R}^r$ In ein $r$-dimensionaler Unterraum $T_V(\mathbb{R}^r)$ von a $p$-dimensionaler Raum.

$U$ In ähnlicher Weise ist die Matrix einer isometrischen Eins-zu-Eins-Transformation $T_U:\mathbb{R}^r\to \mathbb{R}^n$.

$D$ positiv skaliert die $r$ Koordinatenachsen in $\mathbb{R}^r$, entsprechend einer linearen Transformation $T_D$das verzerrt die Einheitskugel (als Referenz verwendet) in ein Ellipsoid, ohne es zu drehen .

Die Transponierung von $V$, $V^\prime$entspricht einer linearen Transformation $T_{V^\prime}:\mathbb{R}^p\to\mathbb{R}^r$ das tötet alle Vektoren in $\mathbb{R}^p$ das sind senkrecht zu $T_V(\mathbb{R}^r)$. Es dreht sich sonst$T_V(\mathbb{R}^r)$ in $\mathbb{R}^r$. Gleichermaßen können Sie sich vorstellen$T_{V^\prime}$ als "Ignorieren" von senkrechten Richtungen und Einrichten eines orthonormalen Koordinatensystems innerhalb $T_V(\mathbb{R}^r) \subset \mathbb{R}^p$. $T_D$ wirkt direkt auf dieses Koordinatensystem und dehnt sich um verschiedene Beträge (wie durch die Singularwerte angegeben) entlang der durch bestimmten Koordinatenachsen aus $V$. $T_U$ ordnet dann das Ergebnis zu $\mathbb{R}^n$.

Die lineare Transformation, die mit verbunden ist $X^\prime X$ in der Tat wirkt auf $T_V(\mathbb{R}^r)$ durch zwei "Rundreisen": $T_X$ erweitert die Koordinaten im System bestimmt durch $V$ durch $T_D$ und dann $T_{X^\prime}$macht alles noch einmal. Ähnlich,$X X^\prime$ macht genau das gleiche mit dem $r$-dimensionaler Unterraum von $\mathbb{R}^n$ gegründet von der $r$ orthogonale Spalten von $U$. So ist die Rolle von$V$ist es, einen Rahmen in einem Unterraum von zu beschreiben$\mathbb{R}^p$ und die Rolle von $U$ ist es, einen Rahmen in einem Unterraum von zu beschreiben $\mathbb{R}^n$. Die Matrix$X^\prime X$ gibt uns Informationen über den Rahmen im ersten Feld und $X X\prime$sagt uns den Frame im zweiten Raum, aber diese beiden Frames müssen überhaupt keine Beziehung zueinander haben.