Statistiken und Big Data pca

5

Dimensionalitätsreduktionstechnik zur Maximierung der Trennung bekannter Cluster?

Nehmen wir also an, ich habe eine Reihe von Datenpunkten in R ^ n, wobei n ziemlich groß ist (wie 50). Ich weiß, dass diese Daten in drei Cluster unterteilt sind und ich weiß, zu welchem Cluster jeder Datenpunkt gehört. Alles, was ich tun möchte, ist, diese Cluster in 2D …

8 clustering pca dimensionality-reduction data-visualization

4

Wie kann getestet werden, ob sich die durch den ersten Faktor der PCA erklärte Varianz unter den Bedingungen wiederholter Messungen unterscheidet?

Kontext: Ich habe eine Studie, in der sechs numerische Variablen in jeweils zwei experimentellen Bedingungen mit wiederholten Messungen gemessen werden (n = 200). Nennen wir die Bedingungen und und die Variablen A_1, A_2, ..., A_6 und B_1, B_2, ..., B_6 . Theoretisch erwarte ich, dass in Bedingung B eine größere …

8 r correlation statistical-significance pca

1

Zeichnen einer Diskriminante als Linie auf dem Streudiagramm

Bei einem gegebenen Datenstreudiagramm kann ich die Hauptkomponenten der Daten als Achsen darstellen, die mit Punkten gekachelt sind, die Hauptkomponentenwerte sind. Sie können ein Beispieldiagramm mit der Cloud (bestehend aus 2 Clustern) und ihrer ersten Hauptkomponente sehen. Es ist leicht zu zeichnen: Rohkomponenten-Scores werden als Datenmatrix x Eigenvektor (en) berechnet …

8 pca discriminant-analysis scatterplot

1

Korrelation kontinuierlicher klinischer Variablen und Genexpressionsdaten

In SVM-Klassifizierungsanalysen (linearer Kernel) eines Datensatzes der Genexpression (~ 400 Variablen / Gene) für jeweils ~ 25 Fälle und Kontrollen stelle ich fest, dass die auf Genexpression basierenden Klassifikatoren sehr gute Leistungsmerkmale aufweisen. Die Fälle und Kontrollen unterscheiden sich nicht signifikant für eine Reihe von kategorialen und kontinuierlichen klinischen / …

8 correlation classification pca continuous-data

3

Wie kann man die wahre Dimensionalität der Daten visualisieren?

Ich habe einen Datensatz, der nominell 16-dimensional ist. Ich habe ungefähr 100 Proben in einem Fall und ungefähr 20.000 in einem anderen. Basierend auf verschiedenen explorativen Analysen, die ich mit PCA und Wärmekarten durchgeführt habe, bin ich überzeugt, dass die wahre Dimensionalität (dh die Anzahl der Dimensionen, die zum Erfassen …

8 data-visualization pca dimensionality-reduction

5

Artikel zur Bayes'schen Faktoranalyse?

Ich bin daran interessiert, ein faktoranalyseähnliches Modell an Vermögensrenditen oder andere ähnliche latente Variablenmodelle anzupassen. Was sind gute Artikel zu diesem Thema zu lesen? Ich bin besonders daran interessiert, wie ich damit umgehen soll, dass ein Faktoranalysemodell unter einem Vorzeichenwechsel für die "Faktorladungen" identisch ist.

8 bayesian pca factor-analysis

1

Warum verwenden Menschen PCA, wenn es so viele Probleme gibt?

(Dies ist eine weiche Frage.) Vor kurzem lerne ich die Hauptkomponentenanalyse und es scheint viele Probleme zu geben: Sie müssen die Daten auf ungefähr den gleichen Maßstab umwandeln, bevor Sie PCA anwenden. Die Art und Weise, wie die Feature-Skalierung durchgeführt werden soll, ist jedoch nicht festgelegt. Standardisierung? Skalierung auf Längeneinheit? …

8 self-study pca multivariate-analysis interpretation reproducible-research

2

Warum sind PCA-Eigenvektoren orthogonal, aber korreliert?

Ich habe einige großartige Beiträge gesehen, in denen PCA erklärt wurde und warum bei diesem Ansatz die Eigenvektoren einer (symmetrischen) Korrelationsmatrix orthogonal sind. Ich verstehe auch die Möglichkeiten zu zeigen, dass solche Vektoren orthogonal zueinander sind (z. B. führt die Verwendung der Kreuzprodukte der Matrix dieser Eigenvektoren zu einer Matrix …

8 r correlation pca orthogonal

1

PCA ist zu CCA wie ICA zu?

PCA sucht nach Faktoren in Daten, die die erklärte Varianz maximieren. Die kanonische Korrelationsanalyse (CCA) ähnelt meines Wissens einer PCA, sucht jedoch nach Faktoren, die die Kreuzkovarianz zwischen zwei Datensätzen maximieren. Finden Sie also pca-ähnliche Faktoren, die zwei Datensätzen gemeinsam sind. Die unabhängige Komponentenanalyse (ICA) ähnelt der PCA, sucht jedoch …

8 pca canonical-correlation ica

2

Warum sind PCA-Eigenvektoren orthogonal und in welcher Beziehung stehen die PCA-Scores nicht korreliert?

Ich lese über PCA und verstehe die meisten Vorgänge in Bezug auf die Ableitung, abgesehen von der Annahme, dass Eigenvektoren orthogonal sein müssen und in welcher Beziehung sie zu den Projektionen (PCA-Scores) stehen, die nicht korreliert sind. Ich habe unten zwei Erklärungen, die einen Zusammenhang zwischen Orthogonalität und Korrelation verwenden, …

8 mathematical-statistics pca eigenvalues

2

Entspricht der Mahalanobis-Abstand dem euklidischen Abstand in den PCA-gedrehten Daten?

Ich bin zu der Überzeugung gelangt (siehe hier und hier ), dass der Mahalanobis-Abstand dem euklidischen Abstand in den PCA-gedrehten Daten entspricht. Mit anderen Worten, multivariate normale DatenX.XX, die Mahalanobis Entfernung aller xxx's von einem bestimmten Punkt (sagen wir 00\mathbf{0}) sollte dem euklidischen Abstand der Einträge von entsprechen X.r o …

8 r pca distance multivariate-normal rotation

1

Anpassen einer Ebene an eine Reihe von Punkten in 3D mithilfe von PCA

Ich versuche, eine Mittelebene eines 3D-Modells unter Verwendung der Mittelpunkte gepaarter Landmarken zu schätzen, um fehlende Daten zu rekonstruieren (die Mittelebene bezieht sich hier auf die mittlere / saggitale Ebene des Schädels, die den Schädel in zwei symmetrische Hälften schneidet, links und rechts). . Ich muss daher eine Ebene aus …

8 r regression pca total-least-squares

1

Gibt es in PCA eine systematische Möglichkeit, Variablen zu löschen, um die Trennung zweier Populationen zu maximieren?

Ich versuche mithilfe der Hauptkomponentenanalyse zu untersuchen, ob es möglich ist, mit gutem Vertrauen zu erraten, aus welcher Population ("Aurignacian" oder "Gravettian") ein neuer Datenpunkt stammt. Ein Datenpunkt wird durch 28 Variablen beschrieben, von denen die meisten relative Häufigkeiten archäologischer Artefakte sind. Die verbleibenden Variablen werden als Verhältnisse anderer Variablen …

7 classification pca multivariate-analysis feature-selection archaeology

1

Normalisieren aller Variablen im Vergleich zur Verwendung der Option scale = TRUE in prcomp in R.

Was ist der Unterschied zwischen Normalisieren der Variablen und Durchführen von PCA; Verwenden der scale=TRUEOption (ohne Normalisierung der Variablen) in der prcompFunktion in R?

7 r pca

3

Verwenden von PCA für einen Bilddatensatz vor der Klassifizierung mit einem neuronalen Netzwerk

Ich habe eine Bilddatenmatrix X∈RN x pX∈ℜN x pX \in \Re^{N \ \text{x}\ p} wo N=50000N=50000N=50000 ist die Anzahl der Bildbeispiele und p=3072p=3072p=3072 ist die Anzahl der Bildpixel: p=3072=32×32×3p=3072=32×32×3p = 3072 = 32 \times 32 \times 3, weil jedes Bild ein 3-Kanal ist 32×3232×3232 \times 32Bild. Darüber hinaus gehört jedes …

7 machine-learning classification neural-networks pca image-processing

Als «pca» getaggte Fragen