Statistiken und Big Data pca

1

Wie hängen PCA, LDA, CCA und PLS zusammen? Sie scheinen alle "spektral" und linear algebraisch und sehr gut verstanden zu sein (sagen wir 50+ Jahre Theorie, die um sie herum aufgebaut sind). Sie werden für sehr unterschiedliche Zwecke verwendet (PCA zur Dimensionsreduzierung, LDA zur Klassifizierung, PLS zur Regression), fühlen sich …

26 pca discriminant-analysis partial-least-squares canonical-correlation

5

Wie können Hauptkomponenten die Vorhersagekraft einer abhängigen Variablen beibehalten (oder sogar zu besseren Vorhersagen führen)?

Angenommen, ich führe eine Regression . Warum behält das Modell durch Auswahl der Top- Hauptkomponenten von seine Vorhersagekraft für ?Y.∼ XY.∼XY \sim XkkkXXXY.Y.Y Ich verstehe, dass aus Sicht der Dimensionsreduktion / Merkmalsauswahl, wenn die Eigenvektoren der Kovarianzmatrix von mit den höchsten Eigenwerten sind, die höchsten Hauptkomponenten sind mit maximalen Abweichungen. …

25 regression classification pca dimensionality-reduction regularization

3

Interpretation der Gratregulierung in der Regression

Ich habe verschiedene Fragen bezüglich der First Penalty im Rahmen der kleinsten Fehlerquadrate: βridge=(λID+X′X)−1X′yβridge=(λID+X′X)−1X′y\beta_{ridge} = (\lambda I_D + X'X)^{-1}X'y 1) Der Ausdruck legt nahe, dass die Kovarianzmatrix von X zu einer Diagonalmatrix geschrumpft ist, was bedeutet, dass (unter der Annahme, dass die Variablen vor der Prozedur standardisiert wurden) die Korrelation …

25 regression pca regularization ridge-regression

2

Ist es sinnvoll, PCA und LDA zu kombinieren?

Angenommen, ich habe einen Datensatz für eine überwachte statistische Klassifizierungsaufgabe, z. B. über einen Bayes-Klassifizierer. Dieser Datensatz besteht aus 20 Merkmalen, und ich möchte ihn mithilfe von Dimensionalitätsreduktionstechniken wie der Hauptkomponentenanalyse (PCA) und / oder der linearen Diskriminanzanalyse (LDA) auf zwei Merkmale reduzieren. Beide Techniken projizieren die Daten auf einen …

25 classification pca regularization discriminant-analysis overfitting

2

Wie verwende ich R prcomp-Ergebnisse für die Vorhersage?

Ich habe einen data.frame mit 800 obs. von 40 Variablen, und möchte die Ergebnisse meiner Vorhersage mithilfe der Hauptkomponentenanalyse verbessern (was bisher mit Support Vector Machine an 15 handverlesenen Variablen am besten funktioniert). Ich verstehe, dass ein prcomp mir helfen kann, meine Vorhersagen zu verbessern, aber ich weiß nicht, wie …

25 r pca

3

LSA vs. PCA (Dokumentenclustering)

Ich untersuche verschiedene Techniken, die beim Clustering von Dokumenten zum Einsatz kommen, und möchte einige Zweifel in Bezug auf PCA (Principal Component Analysis) und LSA (Latent Semantic Analysis) klären. Erste Sache - was sind die Unterschiede zwischen ihnen? Ich weiß, dass in PCA die SVD-Zerlegung auf die Term-Kovarianz-Matrix angewendet wird, …

25 clustering pca data-mining svd lsa

2

Ist PCA unter Multikollinearität instabil?

Ich weiß, dass in einer Regressionssituation, wenn Sie eine Reihe von stark korrelierten Variablen haben, dies normalerweise "schlecht" ist, weil die geschätzten Koeffizienten instabil sind (Varianz geht gegen Unendlich, Determinante gegen Null). Meine Frage ist, ob diese "Bösartigkeit" in einer PCA-Situation bestehen bleibt. Werden die Koeffizienten / Belastungen / Gewichte …

25 pca multicollinearity

5

Beispiele für PCA, bei denen PCs mit geringer Varianz "nützlich" sind

Normalerweise werden bei der Hauptkomponentenanalyse (PCA) die ersten PCs verwendet und die PCs mit niedriger Varianz fallen gelassen, da sie nicht viel von der Variation der Daten erklären. Gibt es jedoch Beispiele, bei denen die PCs mit geringen Abweichungen nützlich sind (dh im Kontext der Daten verwendet werden, eine intuitive …

24 pca

2

Wie kann man "nichtlinear" wie "nichtlineare Dimensionsreduktion" verstehen?

Ich versuche die Unterschiede zwischen den linearen Dimensionalitätsreduktionsmethoden (z. B. PCA) und den nichtlinearen Methoden (z. B. Isomap) zu verstehen. Ich kann nicht ganz verstehen, was die (Nicht-) Linearität in diesem Zusammenhang impliziert. Ich lese aus Wikipedia , dass Im Vergleich dazu sind die resultierenden Werte nicht so gut organisiert, …

24 pca terminology dimensionality-reduction pattern-recognition manifold-learning

3

Wie genau ist spärliches PCA besser als PCA?

Ich habe vor einigen Vorlesungen im Unterricht etwas über PCA gelernt, und als ich mehr über dieses faszinierende Konzept erfuhr, lernte ich etwas über spärliche PCA. Ich wollte fragen, ob ich mich nicht irre: Wenn Sie in PCA Datenpunkte mit p Variablen haben, können Sie jeden Datenpunkt im p- dimensionalen …

24 machine-learning pca sparse

1

Eigenschaften von PCA für abhängige Beobachtungen

In der Regel verwenden wir PCA als Methode zur Dimensionsreduktion für Daten, bei denen angenommen wird, dass es sich um iid-Fälle handelt Frage: Was sind die typischen Nuancen bei der Anwendung von PCA für abhängige, nicht-iid-bezogene Daten? Welche netten / nützlichen Eigenschaften von PCA, die für iid-Daten gelten, sind gefährdet …

23 time-series pca non-independent iid

2

Was ist der Unterschied zwischen PCA und asymptotischer PCA?

In zwei Beiträgen aus den Jahren 1986 und 1988 schlugen Connor und Korajczyk einen Ansatz zur Modellierung der Anlagenrendite vor. Da diese Zeitreihen in der Regel mehr Vermögenswerte als Beobachtungen über einen bestimmten Zeitraum enthalten, schlugen sie vor, eine PCA für Querschnitts-Kovarianzen der Vermögensrenditen durchzuführen. Sie nennen diese Methode Asymptotic …

23 pca econometrics

4

Anrechnung fehlender Werte für PCA

Ich habe die prcomp()Funktion verwendet, um eine PCA (Principal Component Analysis) in R durchzuführen. Es gibt jedoch einen Fehler in dieser Funktion, sodass der na.actionParameter nicht funktioniert. Ich bat um Hilfe beim Stackoverflow . dort boten zwei benutzer zwei verschiedene möglichkeiten, mit NAwerten umzugehen . Das Problem bei beiden Lösungen …

23 r pca missing-data data-imputation

1

Warum gibt es nur

Wenn in PCA die Anzahl der Dimensionen größer als (oder sogar gleich) die Anzahl der Abtastwerte , warum haben Sie dann höchstens Nicht-Null-Eigenvektoren? Mit anderen Worten, der Rang der Kovarianzmatrix unter den Dimensionen ist .dddNNNN−1N−1N-1d≥Nd≥Nd\ge NN−1N−1N-1 Beispiel: Ihre Stichproben sind vektorisierte Bilder mit der Dimension , aber Sie haben nur …

22 pca dimensionality-reduction eigenvalues

2

Warum PCA von Daten mittels SVD der Daten?

In dieser Frage geht es um eine effiziente Methode zur Berechnung von Hauptkomponenten. Viele Texte zur linearen PCA befürworten die Verwendung der Singulärwertzerlegung der fallweisen Daten . Das heißt, wenn wir Daten und wollen die Variablen (seine ersetzen Spalten ) von Hauptkomponenten, wir tun SVD: X = U S V …

22 pca algorithms svd matrix-decomposition

Als «pca» getaggte Fragen