Warum sind die Bewertungen der Hauptkomponenten nicht korreliert?

Angenommen, ist eine Matrix von mittelzentrierten Daten. Die Matrix ist , hat verschiedene Eigenwerte und Eigenvektoren , ... , die orthogonal sind. $\mathbf A$ $\mathbf S=\text{cov}(\mathbf A)$ $m\times m$ $m$ $\mathbf s_1$ $\mathbf s_2$ $\mathbf s_m$

Die te Hauptkomponente (manche Leute nennen sie "Scores") ist der Vektor . Mit anderen Worten, es ist eine lineare Kombination der Spalten von , wobei die Koeffizienten die Komponenten des ten Eigenvektors von . $i$ $\mathbf z_i = \mathbf A\mathbf s_i$ $\mathbf A$ $i$ $\mathbf S$

Ich verstehe nicht, warum und für alle unkorreliert sind . Folgt daraus, dass und orthogonal sind? Sicher nicht, denn ich kann leicht eine Matrix und ein Paar orthogonaler Vektoren so dass und korreliert sind. $\mathbf z_i$ $\mathbf z_j$ $i\neq j$ $\mathbf s_i$ $\mathbf s_j$ $\mathbf B$ $\mathbf x, \mathbf y$ $\mathbf B\mathbf x$ $\mathbf B\mathbf y$

correlation pca linear-algebra

— Ernest A.
quelle

Eine verwandte Antwort stats.stackexchange.com/a/110546/3277 .

— ttnphns

z_{i}^{⊤} z_{j} = (A s_{i})^{⊤} (A s_{j}) = s_{i}^{⊤} A^{⊤} A s_{j} = (n - 1) s_{i}^{⊤} S s_{j} = (n - 1) s_{i} λ_{j} s_{j} = (n - 1) λ_{j} s_{i} s_{j} = 0.

$\mathbf z_i^\top \mathbf z_j = (\mathbf A\mathbf s_i)^\top (\mathbf A\mathbf s_j) = \mathbf s_i^\top \mathbf A^\top \mathbf A \mathbf s_j = (n-1) \mathbf s_i^\top \mathbf S \mathbf s_j = (n-1) \mathbf s_i \lambda_j \mathbf s_j = (n-1) \lambda_j \mathbf s_i \mathbf s_j = 0.$

— Amöbe
quelle

Mathematik: Was für eine schöne Sprache.

— Néstor

Dies bedeutet, dass und orthogonal sind. Nicht korreliert bedeutet, dass dies wahr sein muss: . Ich nehme an, dass und dann auch impliziert, dass sie nicht sind.

z_{i}

$\mathbf z_i$

z_{j}

$\mathbf z_j$

(z_{i} - {\bar{z}}_{i})^{⊤} (z_{j} - {\bar{z}}_{j}) = 0

$(\mathbf z_i-\bar z_i)^\top(\mathbf z_j-\bar z_j)=0$

{\bar{z}}_{i} = {\bar{z}}_{j} = 0

$\bar z_i=\bar z_j=0$

z_{i}^{⊤} z_{j} = 0

$\mathbf z_i^\top \mathbf z_j=0$

— Ernest A

Guter Punkt, @Ernest. Die Mittelwerte sind in der Tat Null, da die Daten (gemäß Ihrer Annahme) auf den Mittelwert zentriert wurden. Dann müssen alle Projektionen den Mittelwert Null haben.

— Amöbe

@Jubbles weil , also .

S = cov (A) = \frac{1}{n - 1} A^{⊤} A

$S = \text{cov}(\mathbf A) = \frac{1}{n-1}\mathbf A^\top \mathbf A$

A^{⊤} A = (n - 1) S

$\mathbf A^\top \mathbf A = (n-1) \mathbf S$

— Ernest A

@Ernest, ich konnte nicht widerstehen, eine Antwort ohne Text zu liefern, aber vielleicht sollte ich hinzufügen, dass der zugrunde liegende Grund, warum PCs nicht korreliert sind, darin besteht, dass ihre Kovarianzmatrix durch in der Eigenvektorbasis gegeben ist und in dieser Basis diagonal wird - - das ist der springende Punkt der Eigenzersetzung.

S

$S$

S

$S$

— Amöbe