Beziehung zwischen Eigenvektoren von und im Kontext von PCA

In Christopher Bishops Buch Pattern Recognition and Machine Learning enthält der Abschnitt über PCA Folgendes:

Bei einer zentrierten Datenmatrix mit der Kovarianzmatrix lautet die Eigenvektorgleichung: $\mathbf{X}$ $N^{-1}\mathbf{X}^T\mathbf{X}$

N^{- 1} X^{T} X u_{i} = λ_{i} u_{i} .

$N^{-1}\mathbf{X}^T\mathbf{X} \mathbf{u}_i = \lambda_i \mathbf{u}_i.$

Bishop definiert und behauptet, wenn und eine Einheitslänge haben, dann: $\mathbf{v}_i = \mathbf{X} \mathbf{u}_i$ $\mathbf{u}_i$ $\mathbf{v}_i$

u_{i} = \frac{1}{(N λ_{i})^{\frac{1}{2}}} X^{T} v_{i} .

$\mathbf{u}_i = \frac{1}{(N\lambda_i)^{\frac{1}{2}}}\mathbf{X}^T\mathbf{v}_i.$

Woher kommt die Quadratwurzel?

BEARBEITEN:

Warum ist insbesondere Folgendes ungültig:

$\frac{1}{N}\mathbf{X}^T\mathbf{X}\mathbf{u}_i = \lambda \mathbf{u}_i$

$\Rightarrow \frac{1}{N}\mathbf{X}^T \mathbf{v}_i = \lambda \mathbf{u}_i$ using $\mathbf{v}_i = \mathbf{Xu}_i$

$\Rightarrow \frac{1}{N\lambda_i}\mathbf{X}^T \mathbf{v}_i = \mathbf{u}_i$

Das gleiche Ergebnis, aber ohne Quadratwurzel.

pca linear-algebra

— Danny
quelle

Die Quadratwurzel ergibt sich aus der Anforderung von PCA, dass die Kovarianzmatrix der transformierten Daten die Identitätsmatrix ist. Ohne sie würden Sie und wären nirgendwo hingekommen.

V V^{T} x = I x = x

$VV^T x = Ix = x$

— Vermutungen

@amoeba Ich habe meine Frage erweitert, um genau das Problem zu enthalten, das ich habe. Bei Bedarf werde ich auch mehr Kontext hinzufügen.

— Danny

"... using " ist nicht durch die definierende Gleichung gerechtfertigt und normalerweise nicht wahr.

v_{i} = X u_{i}

$v_i=Xu_i$

v_{i} X = u_{i}

$v_iX=u_i$

— whuber

@whuber Whoops. das war ein Tippfehler, das Buch definiert . Vielen Dank

v_{i} = X u_{i}

$v_i = Xu_i$

— Danny

Dies bezieht sich auf den kurzen Abschnitt 12.1.4 PCA für hochdimensionale Daten in Bishops Buch. Ich kann sehen, dass dieser Abschnitt etwas verwirrend sein kann, da Bishop zwischen und mit einer leicht inkonsistenten Notation. $\newcommand{\X}{\mathbf X}\newcommand{\v}{\mathbf v}\newcommand{\u}{\mathbf u}\v_i$ $\u_i$

Der Abschnitt befasst sich mit der Beziehung zwischen den Eigenvektoren der Kovarianzmatrix und den Eigenvektoren der Gram-Matrix ( im Rahmen von PCA). Sei ein Eigenvektor mit Einheitslänge von : $\frac{1}{N}\X^\top \X$ $\frac{1}{N}\X \X^\top$ $\v_i$ $\frac{1}{N}\X \X^\top$

\frac{1}{N} X X^{⊤} v_{i} = λ_{i} v_{i} .

$\frac{1}{N}\X \X^\top \v_i = \lambda_i \v_i.$

Wenn wir diese Gleichung von links mit multiplizieren : $\X^\top$

\frac{1}{N} X^{⊤} X (X^{⊤} v_{i}) = λ_{i} (X^{⊤} v_{i}),

$\frac{1}{N}\X^\top \X (\X^\top \v_i) = \lambda_i (\X^\top \v_i),$

wir sehen, dass ein Eigenvektor von . $\X^\top \v_i$ $\frac{1}{N}\X^\top \X$

Es wird jedoch keine Einheitslänge haben! Berechnen wir in der Tat seine Länge: Die quadratische Länge von ist also gleich . Wenn wir also zu transformieren möchte in eine Längeneinheit Kovarianzmatrix Eigenvektor , müssen wir sie haben Einheitslänge normalisieren:

‖ X^{⊤} v_{i} ‖^{2} = (X^{⊤} v_{i})^{⊤} X^{⊤} v_{i} = v_{i}^{⊤} X X^{⊤} v_{i} = v_{i} (N λ v_{i}) = N λ ‖ v_{i} ‖^{2} = N λ_{i} .

$\|\X^\top \v_i\|^2=(\X^\top \v_i)^\top \X^\top \v_i = \v_i^\top \X\X^\top \v_i=\v_i(N\lambda v_i)=N\lambda\|\v_i\|^2=N\lambda_i.$

X^{⊤} v_{i}

$\X^\top \v_i$

N λ_{i}

$N\lambda_i$

v_{i}

$\v_i$

u_{i}

$\u_i$

u_{i} = \frac{1}{(N λ_{i})^{1 / 2}} X^{⊤} v_{i} .

$\u_i = \frac{1}{(N\lambda_i)^{1/2}}\X^\top \v_i.$

(Bitte beachten Sie, dass in der obigen die von Ihnen zitierte Definition . Stattdessen haben wir direkt mit einer Einheitslänge . Ich glaube, dies könnte die Quelle Ihrer Verwirrung gewesen sein. Bishop verwendet Definition weiter oben in diesem Abschnitt, aber für dieses spezielle Argument nicht mehr relevant.) $\v_i=\X\u_i$ $\v_i$ $\v_i=\X\u_i$

— Amöbe
quelle