Statistiken und Big Data pca

1

Ich habe einen Datensatz bestehend aus 15K markierten Proben (von 10 Gruppen). Ich möchte die Dimensionsreduktion in 2 Dimensionen anwenden, die die Kenntnis der Etiketten berücksichtigen. Wenn ich "Standard" -Verfahren zur unbeaufsichtigten Dimensionsreduktion wie PCA verwende, scheint das Streudiagramm nichts mit den bekannten Beschriftungen zu tun zu haben. Hat das, …

13 machine-learning pca dimensionality-reduction supervised-learning discriminant-analysis

1

Was sind "gedrehte" und "nicht gedrehte" Hauptkomponenten, da PCA immer die Koordinatenachsen dreht?

Soweit ich weiß, werden Hauptkomponenten durch Drehen der Koordinatenachsen erhalten, um sie an den Richtungen der maximalen Varianz auszurichten. Trotzdem lese ich immer wieder über "nicht gedrehte Hauptkomponenten" und meine Statistiksoftware (SAS) gibt mir sowohl varimax-gedrehte als auch nicht gedrehte Hauptkomponenten. Hier bin ich verwirrt: Wenn wir Hauptkomponenten berechnen, sind …

13 pca terminology factor-rotation

2

Was ist der Unterschied zwischen Merkmalsauswahl und Dimensionsreduzierung?

Ich weiß, dass sowohl die Merkmalsauswahl als auch die Dimensionsreduzierung darauf abzielen, die Anzahl der Merkmale im ursprünglichen Merkmalssatz zu reduzieren. Was ist der genaue Unterschied zwischen den beiden, wenn wir in beiden dasselbe tun?

13 machine-learning pca feature-selection dimensionality-reduction

1

Wie werden PCA-Ladungen interpretiert?

Beim Lesen über PCA bin ich auf die folgende Erklärung gestoßen: Angenommen, wir haben einen Datensatz, in dem jeder Datenpunkt die Ergebnisse eines einzelnen Schülers in einem Mathematiktest, einem Physiktest, einem Leseverständnistest und einem Vokabeltest darstellt. Wir finden die ersten beiden Hauptkomponenten, die 90% der Variabilität in den Daten erfassen …

13 pca

3

Schrittweise Implementierung von PCA in R mithilfe des Tutorials von Lindsay Smith

Ich arbeite in R durch ein hervorragendes PCA-Tutorial von Lindsay I Smith und stecke in der letzten Phase fest. Das unten stehende R-Skript führt uns bis zu dem Punkt (auf Seite 19), an dem die ursprünglichen Daten aus der (in diesem Fall singulären) Hauptkomponente rekonstruiert werden. Dabei sollte sich entlang …

13 r pca

2

Auswahl von PCA-Komponenten, die Gruppen trennen

Ich habe meine multivariaten Daten häufig mit PCA diagnostiziert (Omics-Daten mit Hunderttausenden von Variablen und Dutzenden oder Hunderten von Stichproben). Die Daten stammen oft aus Experimenten mit mehreren kategorialen unabhängigen Variablen, die einige Gruppen definieren, und ich muss oft einige Komponenten durchgehen, bevor ich diejenigen finden kann, die eine Trennung …

13 pca linear-model r-squared discriminant-analysis

3

Wie berechnet man varimaxgedrehte Hauptkomponenten in R?

Ich habe PCA mit 25 Variablen ausgeführt und die 7 besten PCs mit ausgewählt prcomp. prc <- prcomp(pollutions, center=T, scale=T, retx=T) Ich habe dann Varimax-Rotation an diesen Komponenten durchgeführt. varimax7 <- varimax(prc$rotation[,1:7]) Und jetzt möchte ich die PCA-gedrehten Daten mit Varimax drehen (da sie nicht Teil des Varimax-Objekts sind - …

13 r pca factor-rotation

2

Sollte eine SVD für eine Zufallsmatrix überhaupt nichts erklären? Was mache ich falsch?

Wenn ich eine 2-D-Matrix konstruiere, die vollständig aus Zufallsdaten besteht, würde ich erwarten, dass die PCA- und SVD-Komponenten im Wesentlichen nichts erklären. Stattdessen scheint die erste SVD-Spalte 75% der Daten zu erklären. Wie kann das möglich sein? Was mache ich falsch? Hier ist die Handlung: Hier ist der R-Code: set.seed(1) …

13 r pca svd

3

PCA zu hochdimensionalen Textdaten vor der zufälligen Waldklassifikation?

Ist es sinnvoll, PCA durchzuführen, bevor eine zufällige Waldklassifizierung durchgeführt wird? Ich habe es mit hochdimensionalen Textdaten zu tun, und ich möchte eine Feature-Reduzierung durchführen, um den Fluch der Dimensionalität zu vermeiden. Ist Random Forests nicht bereits auf eine Art von Dimensionsreduzierung eingestellt?

13 classification pca random-forest dimensionality-reduction high-dimensional

3

Stellen PCA-Komponenten wirklich den Prozentsatz der Varianz dar? Können sie mehr als 100% summieren?

O'Reillys "Maschinelles Lernen für Hacker" besagt, dass jede Hauptkomponente einen Prozentsatz der Varianz darstellt. Ich habe den relevanten Teil der folgenden Seite zitiert (Kapitel 8, S.207). Im Gespräch mit einem anderen Experten stimmten sie darin überein, dass es sich um den Prozentsatz handelt. Die 24 Komponenten summieren sich jedoch auf …

13 r pca

2

Kann ich eine PCA zu wiederholten Maßnahmen zur Datenreduzierung durchführen?

Ich habe 3 Versuche mit jeweils 87 Tieren in 2 Kontexten (einige fehlende Daten; keine fehlenden Daten = 64 Tiere). In einem Kontext, ich viele spezifische Maßnahmen (Zeit zu geben, die Anzahl der Male Heim fahren, etc.), so dass ich 2 bis 3 Verbundverhalten Partituren entwickeln wollen, die das Verhalten …

13 repeated-measures pca dimensionality-reduction

5

SVD-Dimensionsreduktion für Zeitreihen unterschiedlicher Länge

Ich verwende Singular Value Decomposition als Methode zur Reduzierung der Dimensionalität. Bei gegebenen NVektoren der Dimension Dbesteht die Idee darin, die Merkmale in einem transformierten Raum unkorrelierter Dimensionen darzustellen, der die meisten Informationen der Daten in den Eigenvektoren dieses Raums in abnehmender Reihenfolge der Wichtigkeit verdichtet. Jetzt versuche ich, dieses …

13 time-series machine-learning pca data-transformation multivariate-analysis

1

PCA- und Komponentenbewertungen basieren auf einer Mischung aus kontinuierlichen und binären Variablen

Ich möchte eine PCA auf einen Datensatz anwenden, der aus Variablen gemischten Typs (stetig und binär) besteht. Um die Vorgehensweise zu veranschaulichen, füge ich unten in R ein minimal reproduzierbares Beispiel ein. # Generate synthetic dataset set.seed(12345) n <- 100 x1 <- rnorm(n) x2 <- runif(n, -2, 2) x3 <- …

13 r pca

2

Wie kann eine Kreuzvalidierung für PCA durchgeführt werden, um die Anzahl der Hauptkomponenten zu bestimmen?

Ich versuche, meine eigene Funktion für die Hauptkomponentenanalyse, PCA, zu schreiben (natürlich ist bereits viel geschrieben, aber ich bin nur daran interessiert, Dinge selbst zu implementieren). Das Hauptproblem, auf das ich gestoßen bin, ist der Kreuzvalidierungsschritt und die Berechnung der vorhergesagten Quadratsumme (PRESS). Es spielt keine Rolle, welche Kreuzvalidierung ich …

13 pca cross-validation matlab

3

Ist die PCA-Optimierung konvex?

Die objektive Funktion der Hauptkomponentenanalyse (PCA) ist die Minimierung des Rekonstruktionsfehlers in der L2-Norm (siehe Abschnitt 2.12 hier) . Eine andere Ansicht versucht, die Varianz bei der Projektion zu maximieren. Wir haben auch hier einen ausgezeichneten Beitrag: Was ist die objektive Funktion der PCA? ? ). Meine Frage ist, dass …

12 machine-learning pca optimization convex

Als «pca» getaggte Fragen