Statistiken und Big Data pca

1

PCA- und Korrespondenzanalyse in Bezug auf Biplot

Biplot wird häufig verwendet, um Ergebnisse der Hauptkomponentenanalyse (und verwandter Techniken) anzuzeigen . Es ist eine Dual oder Overlay Streukomponente zeigt Belastungen und Komponenten Partituren gleichzeitig. Ich wurde heute von @amoeba darüber informiert, dass er abweichend von meinem Kommentar eine Antwort auf eine Frage gegeben hat, in der gefragt wird, …

38 pca multivariate-analysis svd correspondence-analysis biplot

2

Wie erklärt die Faktoranalyse die Kovarianz, während die PCA die Varianz erklärt?

Hier ist ein Zitat aus Bishops Buch "Mustererkennung und maschinelles Lernen", Abschnitt 12.2.4 "Faktorenanalyse": Gemäß dem markierten Teil, Faktoranalyse erfasst die Kovarianz zwischen den Variablen in der Matrix WWW . Ich frage mich , WIE ? So verstehe ich es. Angenommen, xxx ist die beobachtete ppp dimensionale Variable, WWW ist …

37 pca factor-analysis geometry

3

Hat das Vorzeichen von Punktzahlen oder Ladungen in PCA oder FA eine Bedeutung? Darf ich das Vorzeichen umkehren?

Ich führte eine Hauptkomponentenanalyse (PCA) mit R mit zwei verschiedenen Funktionen ( prcompund princomp) durch und stellte fest, dass sich die PCA-Werte im Vorzeichen unterschieden. Wie kann es sein? Bedenken Sie: set.seed(999) prcomp(data.frame(1:10,rnorm(10)))$x PC1 PC2 [1,] -4.508620 -0.2567655 [2,] -3.373772 -1.1369417 [3,] -2.679669 1.0903445 [4,] -1.615837 0.7108631 [5,] -0.548879 0.3093389 …

37 r pca factor-analysis

3

Linearität von PCA

PCA wird jedoch als lineares Verfahren angesehen: PCA(X)≠PCA(X1)+PCA(X2)+…+PCA(Xn),PCA(X)≠PCA(X1)+PCA(X2)+…+PCA(Xn),\mathrm{PCA}(X)\neq \mathrm{PCA}(X_1)+\mathrm{PCA}(X_2)+\ldots+\mathrm{PCA}(X_n), Dabei ist . Dies bedeutet, dass die von den PCAs auf den Datenmatrizen erhaltenen Eigenvektoren sich nicht zu den von der PCA auf der Summe der Datenmatrizen erhaltenen Eigenvektoren summieren . Aber ist die Definition einer linearen Funktion :X i X …

35 pca linear

3

PCA und der Zug / Test Split

Ich habe einen Datensatz, für den ich mehrere Sätze von binären Bezeichnungen habe. Für jeden Etikettensatz trainiere ich einen Klassifikator und bewerte ihn durch Kreuzvalidierung. Ich möchte die Dimensionalität mithilfe der Hauptkomponentenanalyse (PCA) reduzieren. Meine Frage ist: Ist es möglich, die PCA einmal für den gesamten Datensatz durchzuführen und dann …

35 machine-learning classification pca cross-validation

3

Warum wird t-SNE nicht als Dimensionsreduktionstechnik für Clustering oder Klassifizierung verwendet?

In einer kürzlich durchgeführten Aufgabe wurde uns befohlen, PCA für die MNIST-Ziffern zu verwenden, um die Abmessungen von 64 (8 x 8 Bilder) auf 2 zu reduzieren. Anschließend mussten wir die Ziffern mit einem Gaußschen Mischungsmodell gruppieren. PCA, das nur zwei Hauptkomponenten verwendet, ergibt keine eindeutigen Cluster, weshalb das Modell …

34 classification clustering pca dimensionality-reduction tsne

1

Was ist der intuitive Grund für das Ausführen von Rotationen in Factor Analysis / PCA und wie wählt man eine geeignete Rotation aus?

Meine Fragen Was ist der intuitive Grund für die Rotation von Faktoren in der Faktorenanalyse (oder von Komponenten in der PCA)? Mein Verständnis ist, dass es offensichtlich schwierig ist, die Komponenten zu unterscheiden, wenn Variablen in den obersten Komponenten (oder Faktoren) fast gleich geladen sind. In diesem Fall könnte man …

33 pca interpretation factor-analysis dimensionality-reduction factor-rotation

1

Wie würde PCA bei einer k-means Clustering-Analyse helfen?

Hintergrund : Ich möchte die Wohngebiete einer Stadt anhand ihrer sozioökonomischen Merkmale in Gruppen einteilen, z. B. Dichte der Wohneinheiten, Bevölkerungsdichte, Grünfläche, Wohnungspreis, Anzahl der Schulen / Gesundheitszentren / Kindertagesstätten usw. Ich möchte verstehen, in wie viele verschiedene Gruppen die Wohngebiete unterteilt werden können und was ihre einzigartigen Merkmale sind. …

32 clustering pca k-means dimensionality-reduction

3

PCA zur Korrelation oder Kovarianz: Ist eine PCA zur Korrelation jemals sinnvoll? [geschlossen]

Bei der Hauptkomponentenanalyse (PCA) kann man entweder die Kovarianzmatrix oder die Korrelationsmatrix wählen, um die Komponenten (aus ihren jeweiligen Eigenvektoren) zu finden. Diese liefern unterschiedliche Ergebnisse (PC-Ladungen und Scores), da die Eigenvektoren zwischen beiden Matrizen nicht gleich sind. Meines Wissens liegt dies daran, dass ein Rohdatenvektor und seine Standardisierung nicht …

32 pca factor-analysis

3

Erstellen eines Autoencoders in Tensorflow, um PCA zu übertreffen

Hinton und Salakhutdinov schlugen bei der Reduzierung der Dimensionalität von Daten mit neuronalen Netzen in Science 2006 eine nichtlineare PCA durch die Verwendung eines tiefen Autoencoders vor. Ich habe mehrmals versucht, einen PCA-Autoencoder mit Tensorflow zu bauen und zu trainieren, aber ich konnte nie ein besseres Ergebnis erzielen als mit …

31 pca python deep-learning tensorflow autoencoders

1

PCA-Zielfunktion: Welcher Zusammenhang besteht zwischen Maximierung der Varianz und Minimierung des Fehlers?

Der PCA-Algorithmus kann anhand der Korrelationsmatrix formuliert werden (vorausgesetzt, die Daten bereits normalisiert und es wird nur die Projektion auf den ersten PC in Betracht gezogen). Die Zielfunktion kann wie folgt geschrieben werden:XXX maxw(Xw)T(Xw)s.t.wTw=1.maxw(Xw)T(Xw)s.t.wTw=1. \max_w (Xw)^T(Xw)\; \: \text{s.t.} \: \:w^Tw = 1. Dies ist in Ordnung, und wir verwenden Lagrange-Multiplikatoren, …

31 pca optimization

1

Dimensionsreduktion (SVD oder PCA) auf einer großen, dünn besetzten Matrix

/ edit: Weitere Folgemaßnahmen können jetzt mit irlba :: prcomp_irlba durchgeführt werden / edit: verfolge meinen eigenen Beitrag. irlbaVerfügt nun über die Argumente "center" und "scale", mit denen Sie Hauptkomponenten berechnen können, z. pc <- M %*% irlba(M, nv=5, nu=0, center=colMeans(M), right_only=TRUE)$v Ich habe eine große, spärliche Anzahl Matrixvon Funktionen, …

31 r pca dimensionality-reduction svd matrix-decomposition

5

Ermittlung signifikanter Prädiktoren aus vielen unabhängigen Variablen

In einem Datensatz von zwei nicht überlappenden Populationen (Patienten & Gesunde, insgesamt ) möchte ich (aus unabhängigen Variablen) signifikante Prädiktoren für eine kontinuierliche abhängige Variable finden. Korrelation zwischen Prädiktoren ist vorhanden. Ich bin daran interessiert herauszufinden, ob einer der Prädiktoren "in der Realität" mit der abhängigen Variablen zusammenhängt (anstatt die …

31 regression pca feature-selection stepwise-regression underdetermined

3

Visualisierung einer Million, PCA-Edition

Ist es möglich, die Ergebnisse der Hauptkomponentenanalyse auf eine Weise darzustellen, die mehr Einsicht bietet als nur Übersichtstabellen? Ist es möglich, dies zu tun, wenn die Anzahl der Beobachtungen groß ist, sagen wir ~ 1e4? Und ist es möglich, es in R [andere Umgebungen willkommen] zu tun?

31 r data-visualization pca biplot

4

So führen Sie eine Dimensionsreduktion mit PCA in R durch

Ich habe einen großen Datensatz und möchte eine Dimensionsreduktion durchführen. Jetzt lese ich überall, dass ich PCA dafür verwenden kann. Ich scheine jedoch immer noch nicht zu verstehen, was ich tun soll, nachdem ich die PCA berechnet / durchgeführt habe. In R ist dies mit dem Befehl einfach zu bewerkstelligen …

30 r pca

Als «pca» getaggte Fragen