Sind PCA-Komponenten multivariater Gauß-Daten statistisch unabhängig?

Sind PCA-Komponenten (in der Hauptkomponentenanalyse) statistisch unabhängig, wenn unsere Daten multivariat normalverteilt sind? Wenn ja, wie kann dies nachgewiesen werden?

Ich frage, weil ich diesen Beitrag gesehen habe , in dem in der oberen Antwort steht:

PCA geht nicht von einer expliziten Gaußschen Annahme aus. Es werden die Eigenvektoren gefunden, die die in den Daten erläuterte Varianz maximieren. Die Orthogonalität der Hauptkomponenten bedeutet, dass die am wenigsten korrelierten Komponenten gefunden werden, um die größtmögliche Variation der Daten zu erklären. Für multivariate Gauß-Verteilungen impliziert die Nullkorrelation zwischen Komponenten eine Unabhängigkeit, die für die meisten Verteilungen nicht zutrifft.

Die Antwort wird ohne Beweis angegeben und scheint zu implizieren, dass PCA unabhängige Komponenten produziert, wenn die Daten multivariat normal sind.

Sagen wir, unsere Daten sind Beispiele aus:

x \sim N (μ, Σ)

$\mathbf{x} \sim \mathcal N(\mathbf{\mu}, \mathbf{\Sigma})$

wir stellen Proben von in Zeilen der Matrix der Proben , so ist . Berechnung der SVD von (nach dem Zentrieren) ergibt $n$ $\mathbf{x}$ $\mathbf{X}$ $\mathbf{X}$ $n \times m$ $\mathbf{X}$

X = {U S V}^{T}

$\mathbf{X} = \mathbf{USV}^{T}$

Können wir sagen, dass die Spalten von $\mathbf{U}$ statistisch unabhängig sind, auch dann die Zeilen von $\mathbf{V}^T$ ? Trifft dies im Allgemeinen nur für $\mathbf{x} \sim \mathcal N(\mathbf{\mu}, \mathbf{\Sigma})$ oder trifft es überhaupt nicht zu?

pca independence svd

— bill_e
quelle

stats.stackexchange.com/q/110508/3277 ist eine ähnliche Frage.

— TTNPHNS

Ich verstehe nicht, wie PCs möglicherweise in mehr als einer Dimension als "statistisch unabhängig" angesehen werden könnten. Schließlich ist per definitionem jeder orthogonal zu allen anderen; Diese funktionale Abhängigkeit erzeugt eine sehr starke statistische Abhängigkeit.

— whuber

@amoeba Ich hoffe, dass ich der Frage, die ich als eindeutig und eindeutig empfinde, durchweg klar und treu gefolgt bin: Weil die Daten zufällig sind, sind auch alle Einträge in zufällig . Ich habe die Definition der statistischen Unabhängigkeit auf sie angewendet. Das ist alles. Ihr Problem scheint zu sein, dass Sie das Wort "unkorreliert" in zwei sehr unterschiedlichen Sinnen verwenden, ohne es zu bemerken: Aufgrund der Art und Weise, wie die Spalten von sind, sind sie geometrisch orthogonal als Vektoren in , aber sie sind keineswegs unabhängige Zufallsvektoren!

X

$X$

U

$U$

U

$U$ $\mathbb{R}^n$

— Whuber

@amoeba Sie haben Recht - die Simulation zeigt ziemlich überzeugend, dass die Korrelation (stark) ungleich Null sein kann. Ich bestreite jedoch nicht, dass "PCA-Komponenten unkorreliert" im Sinne von "Korrelation" = "orthogonal" sind, und ich sage auch nicht, dass ein bestimmtes Lehrbuch falsch ist. Ich befürchte, dass eine solche Aussage, wenn sie richtig verstanden wird, für die Frage so irrelevant ist, dass sie im gegenwärtigen Kontext nur zu weitreichender Verwirrung führen kann (und dies getan hat).

— whuber

@whuber, ich bin sicher, Sie haben sich schon auf eine weitere Ausgabe meiner Antwort gefreut! Hier ist es. Ich ausdrücklich Ihre Punkte zu Abhängigkeiten erkennen und eine Erklärung abgeben , dass Spalten von sind asymptotisch unabhängig, als mein Hauptpunkt. Hier bezieht sich "asymptotisch" auf die Anzahl von Beobachtungen (Zeilen). Ich hoffe sehr, dass wir uns darauf einigen können! Ich argumentiere auch, dass für jedes vernünftige wie die Abhängigkeit zwischen Spalten "praktisch irrelevant" ist. Ich denke, das ist ein strittigerer Punkt, aber ich versuche es in meiner Antwort einigermaßen präzise zu machen.

U

$U$

n

$n$

n

$n$

n = 100

$n=100$

— Amöbe sagt Reinstate Monica

Ich werde mit einer intuitiven Demonstration beginnen.

Ich generierte Beobachtungen (a) aus einer stark nicht-Gaußschen 2D-Verteilung und (b) aus einer 2D-Gaußschen Verteilung. In beiden Fällen habe ich die Daten zentriert und die Singulärwertzerlegung . Dann machte ich für jeden Fall ein Streudiagramm der ersten beiden Spalten von , eine gegen die andere. Man beachte , dass es in der Regel Spalten von die „principal components“ (PC) bezeichnet werden; Spalten von $n=100$ $\mathbf X=\mathbf{USV}^\top$ $\mathbf U$ $\mathbf{US}$ sind PCs, die auf Einheitennorm skaliert sind. noch, ich in dieser Antwort auf Spalten am Fokussierung . Hier sind die Streudiagramme: $\mathbf U$ $\mathbf U$

PCA von Gaußschen und Nicht-Gaußschen Daten

Ich denke, dass Aussagen wie "PCA-Komponenten sind unkorreliert" oder "PCA-Komponenten sind abhängig / unabhängig" normalerweise in Bezug auf eine bestimmte Stichprobenmatrix und sich auf die Korrelationen / Abhängigkeiten zwischen Zeilen beziehen (siehe z. B. die Antwort von @ ttnphns hier ). PCA liefert eine transformierte Datenmatrix , in der Zeilen Beobachtungen und Spalten PC-Variablen sind. Dh wir können als Beispiel betrachten und fragen, wie die Beispielkorrelation zwischen PC-Variablen ist. Diese Probenkorrelationsmatrix ist natürlich gegeben durch $\mathbf X$ $\mathbf U$ $\mathbf U$ $\mathbf U^\top \mathbf U=\mathbf I$ Dies bedeutet, dass die Beispielkorrelationen zwischen PC-Variablen Null sind. Dies ist, was die Leute meinen, wenn sie sagen, dass "PCA die Kovarianzmatrix diagonalisiert" usw.

Schlussfolgerung 1: In PCA-Koordinaten haben alle Daten keine Korrelation.

Dies gilt für die beiden obigen Streudiagramme. Es ist jedoch sofort offensichtlich, dass die beiden PC-Variablen und im linken (nicht-Gaußschen) Streudiagramm nicht unabhängig sind. Obwohl sie keine Korrelation haben, sind sie stark abhängig und tatsächlich durch a . Und in der Tat ist bekannt, dass unkorreliert nicht unabhängig bedeutet . $x$ $y$ $y\approx a(x-b)^2$

Im Gegenteil, die beiden PC-Variablen und im rechten (Gaußschen) Streudiagramm scheinen "ziemlich unabhängig" zu sein. Das Berechnen der gegenseitigen Information zwischen ihnen (was ein Maß für die statistische Abhängigkeit ist: Unabhängige Variablen haben keine gegenseitige Information) mit jedem Standardalgorithmus ergibt einen Wert, der sehr nahe bei Null liegt. Es wird nicht genau null sein, da es für eine endliche Stichprobengröße niemals genau null ist (es sei denn, es wird eine Feinabstimmung vorgenommen). Darüber hinaus gibt es verschiedene Methoden, um die gegenseitige Information zweier Stichproben zu berechnen und dabei leicht unterschiedliche Antworten zu erhalten. Wir können jedoch davon ausgehen, dass jede Methode eine Schätzung der gegenseitigen Informationen liefert, die sehr nahe bei Null liegt. $x$ $y$

Schlussfolgerung 2: In PCA-Koordinaten sind die Gaußschen Daten "ziemlich unabhängig", was bedeutet, dass die Standardschätzungen der Abhängigkeit bei Null liegen werden.

Die Frage ist jedoch schwieriger, wie die lange Kette von Kommentaren zeigt. Tatsächlich weist @whuber Recht, dass PCA Variablen und (Spalten von ) muss statistisch abhängig sein: die Spalten zu der Einheitslänge haben und orthogonal sein, und dies stellt eine Abhängigkeit. Wenn beispielsweise ein Wert in der ersten Spalte gleich , muss der entsprechende Wert in der zweiten Spalte . $x$ $y$ $\mathbf U$ $1$ $0$

Dies ist wahr, aber nur für sehr kleine praktisch relevant , wie z. B. (mit nach dem Zentrieren gibt es nur einen PC). Für jede vernünftige Stichprobengröße, wie z. B. in meiner obigen Abbildung, ist der Effekt der Abhängigkeit vernachlässigbar. Spalten von sind (skalierte) Projektionen von Gaußschen Daten, daher sind sie auch Gaußsche, was es praktisch unmöglich macht, dass ein Wert nahe bei (dies würde alle anderen erfordern) $n$ $n=3$ $n=2$ $n=100$ $\mathbf U$ $1$ $n-1$ Elemente nahe , was kaum der Fall ist eine Gaußsche Verteilung). $0$

Schlussfolgerung 3: Genau genommen sind die Gaußschen Daten in PCA-Koordinaten für jedes endliche abhängig; Diese Abhängigkeit ist jedoch für niemanden von Bedeutung $n$ . $n\gg 1$

Wir können dies präzisieren, indem man bedenkt , was in der Grenze geschieht . In der Grenze der unendlichen Stichprobengröße ist die Stichproben-Kovarianzmatrix gleich der Populations-Kovarianzmatrix . Wenn also der Datenvektor wird aus abgetastete , dann sind die Variablen PC (wobei und $n \to \infty$ $\mathbf \Sigma$ $X$ $\vec X \sim \mathcal N(0,\boldsymbol \Sigma)$ $\vec Y = \Lambda^{-1/2}V^\top \vec X/(n-1)$ $\Lambda$ $V$ sind Eigenwerte und Eigenvektoren von ) und . Dh PC-Variablen stammen aus einem multivariaten Gaußschen mit diagonaler Kovarianz. Aber jeder multivariate Gauß mit diagonaler Kovarianzmatrix zerfällt in ein Produkt von univariaten Gaußschen, und dies ist die Definition der statistischen Unabhängigkeit : $\boldsymbol \Sigma$ $\vec Y \sim \mathcal N(0, \mathbf I/(n-1))$

\begin{aligned} N (0, d ich ein G (σ_{ich}^{2})) & = \frac{1}{(2 π)^{k / 2} det (d ich ein G (σ_{ich}^{2}))^{1 / 2}} \exp [- x^{⊤} d ich ein G (σ_{ich}^{2}) x / 2] \\ = \frac{1}{(2 π)^{k / 2} (\prod_{ich = 1}^{k} σ_{ich}^{2})^{1 / 2}} \exp [- \sum_{ich = 1}^{k} σ_{ich}^{2} x_{ich}^{2} / 2] \\ = \prod \frac{1}{(2 π)^{1 / 2} σ_{ich}} \exp [- σ_{ich}^{2} x_{ich}^{2} / 2] \\ = \prod N (0, σ_{ich}^{2}) . \end{aligned}

$\begin{align} \mathcal N(\mathbf 0,\mathrm{diag}(\sigma^2_i)) &= \frac{1}{(2\pi)^{k/2} \det(\mathrm{diag}(\sigma^2_i))^{1/2}} \exp\left[-\mathbf x^\top \mathrm{diag}(\sigma^2_i) \mathbf x/2\right]\\&=\frac{1}{(2\pi)^{k/2} (\prod_{i=1}^k \sigma_i^2)^{1/2}} \exp\left[-\sum_{i=1}^k \sigma^2_i x_i^2/2\right] \\&=\prod\frac{1}{(2\pi)^{1/2}\sigma_i} \exp\left[-\sigma_i^2 x^2_i/2\right] \\&= \prod \mathcal N(0,\sigma^2_i). \end{align}$

$n \to \infty$

$\mathbf U$ als Zufallsvariable zu betrachten (erhalten aus der Zufallsmatrix) $\mathbf X$ $U_{ij}$ $U_{kl}$ $\mathbf X$

Hier sind alle vier vorläufigen Schlussfolgerungen von oben:

In PCA-Koordinaten haben alle Daten keine Korrelation.
In PCA-Koordinaten sind Gauß-Daten "ziemlich unabhängig", was bedeutet, dass die Standardschätzungen der Abhängigkeit bei Null liegen werden.
$n$ $n\gg 1$
$n \to \infty$

— Amöbe sagt Reinstate Monica
quelle

Sie schreiben: "Wenn die Daten jedoch multivariate Gauß-Werte sind, sind sie tatsächlich unabhängig." "Sie" sind die Hauptkomponenten und ihre Koeffizienten? Was meinst du mit PCA diagonalisiert die Kovarianzmatrix? Danke für Ihre Antwort!

— bill_e

S

$S$

U

$U$ orthogonal, was bedeutet, dass ihre Kovarianzmatrix diagonal ist. All dies bedeutet, dass PCs die Korrelation Null haben.

— Amöbe sagt Reinstate Monica

Cool Danke! Die Kombination Ihrer Antwort und dieses Kommentars hilft mir sehr dabei, die Dinge aufzuklären. Kann ich deinen Kommentar in deine Antwort einfügen?

— bill_e

Ich habe die Antwort um den Kommentar erweitert. sehen Sie, ob Sie jetzt damit zufrieden sind.

— Amöbe sagt Reinstate Monica

Interessante Diskussion! Als ich die Frage stellte, dachte ich an statistische Abhängigkeit: "Wenn Sie PC1 kennen, ist es möglich, auf PC2 zu schließen? Usw." Ich werde mich jetzt mehr mit Unabhängigkeitstests befassen, die auf gegenseitigen Informationen basieren.

— bill_e