Sind PCA-Lösungen einzigartig?

12

Wenn ich PCA für einen bestimmten Datensatz ausführe, ist die mir gegebene Lösung einzigartig?

Das heißt, ich erhalte einen Satz von 2D-Koordinaten, basierend auf Zwischenpunktabständen. Ist es möglich, mindestens eine weitere Anordnung der Punkte zu finden, die diese Einschränkungen erfüllen würden?

Wenn die Antwort ja ist, wie kann ich eine so unterschiedliche Lösung finden?

pca

— Raygozag
quelle

11

Die Antwort auf die Frage nach der Einzigartigkeit lautet sowohl Ja als auch Nein. Es ist "Ja" in dem Sinne, dass die Eigenräume und Eigenwerte mathematisch gut und eindeutig definiert sind. Es ist "nein" in dem Sinne, dass (a) es mehrere Möglichkeiten gibt, diese Eigenräume darzustellen (sogar ein normalisierter Eigenvektor kann negiert werden und es gibt viele Auswahlmöglichkeiten für entartete Eigenräume) und (b) verschiedene Algorithmen unterschiedliche Ergebnisse liefern können aufgrund der Akkumulation von Gleitkommafehlern in den Berechnungen.

— whuber

Ramsay und Silverman erwähnen im Buch "Functinal Data Analysis" die VARIMAX-Rotation. Sie sprechen über die Aufteilung eines Datensatzes von Funktionen (dargestellt als Matrix) in seine Hauptkomponenten.

— Macht

Es hört sich so an, als ob Sie PCA als Werkzeug zur Dimensionsreduzierung verwenden möchten. Sie können beginnen, indem Sie sich die Reduzierung der Dimensionalität ansehen ...

— Elvis

7

Nein, die Antwort ist nicht eindeutig. Es gibt viele Möglichkeiten, dies zu zeigen. Eine Möglichkeit besteht darin, festzustellen, dass die spektrale Zerlegung eines Quadrats durch die Matrix die Lösung für die Maximierung einer konvexen Funktion von . Betrachten Sie den ersten Eigenvektor / Wert: $p$ $p$ $X$ $w$

λ_{1} = max_{w \in {R.}^{p} :: | | w | | = 1} w^{'} X. w

$\lambda_1=\underset{w\in\mathbb{R}^{p}:||w||=1}{\max} w'Xw$

(wobei der erste Eigenwert und der erste Eigenvektor ist). $\lambda_1$ $w^*$

Die Lösung solcher Probleme (z. B. die Werte von die dieses Maximum erreichen) sind im Allgemeinen nicht eindeutig. $w$

Die Algorithmen zur Berechnung dieser Lösungen sind jedoch deterministisch, was bedeutet, dass die Lösungen, die Sie erhalten, abgesehen von numerischen Eckfällen dieselben sein sollten.

Beispiel für solche numerischen Eckfälle: Fälle, in denen mehrere Eigenwerte (numerisch) gleich sind, Fälle, in denen das Rangmangel aufweist ... $X$

— user603
quelle

7

Was bisher noch nicht bemerkt wurde, ist, dass das einfache Umkehren des Vorzeichens eines PCs zu einer anderen Lösung führt. Das heißt, wenn $\mathbf{w}$ $n$ $-\mathbf{w}$ $n$

— Cam.Davidson.Pilon
quelle

3

Eine interessante praktische Anwendung dieser Mehrdeutigkeit finden Sie unter stats.stackexchange.com/questions/34396 . (Übrigens, der Vorzeichenwechsel war bemerkt: den ersten Kommentar auf diese Frage sehen.)

— whuber