Statistiken und Big Data dimensionality-reduction

1

Nystroem-Methode zur Kernel-Approximation

Ich habe über die Nyström-Methode für die Annäherung an Kernel mit niedrigem Rang gelesen. Diese Methode wird in scikit-learn [1] implementiert, um Datenproben auf eine niedrigrangige Näherung der Kernel-Feature-Mapping zu projizieren. Nach meinem besten Wissen erzeugt es bei gegebenem Trainingssatz und einer Kernelfunktion eine niedrigrangige Approximation der Kernelmatrix durch Anwenden …

12 scikit-learn dimensionality-reduction kernel-trick nonlinear

4

Was sind die Unterschiede zwischen Autoencodern und t-SNE?

Soweit ich weiß, werden sowohl Autoencoder als auch t-SNE zur nichtlinearen Dimensionsreduktion verwendet. Was sind die Unterschiede zwischen ihnen und warum sollte ich einen gegen einen anderen verwenden?

12 neural-networks deep-learning dimensionality-reduction autoencoders tsne

3

Bedeutung von "Rekonstruktionsfehler" in PCA und LDA

Ich implementiere PCA, LDA und Naive Bayes für die Komprimierung bzw. Klassifizierung (Implementierung einer LDA für die Komprimierung und Klassifizierung). Ich habe den Code geschrieben und alles funktioniert. Was ich für den Bericht wissen muss, ist die allgemeine Definition des Rekonstruktionsfehlers . Ich kann viel Mathematik finden und in der …

12 machine-learning pca terminology dimensionality-reduction discriminant-analysis

1

Wie wähle ich einen Kernel für Kernel PCA?

Wie kann ausgewählt werden, welcher Kernel zu einer guten Datentrennung bei der endgültigen Datenausgabe durch die Kernel-PCA (Hauptkomponentenanalyse) führen würde, und wie können die Parameter des Kernels optimiert werden? Wenn möglich, wären Laienbegriffe sehr willkommen, und Links zu Artikeln, die solche Methoden erklären, wären ebenfalls nett.

11 pca cross-validation dimensionality-reduction kernel-trick manifold-learning

3

Gibt es einen Wert für die Dimensionsreduzierung eines Datensatzes, bei dem alle Variablen ungefähr orthogonal sind?

Angenommen, ich habe einen dimensionalen Datensatz, in dem die N- Dimensionen ungefähr orthogonal sind (Korrelation Null haben).N.N.NN.N.N Gibt es einen Nutzen in Bezug auf: Visualisierung Darstellung (für Klassifizierereffizienz) Oder andere Kriterien Dimensionsreduktion an den Daten durchführen?

11 pca dimensionality-reduction

8

Visualisierung hochdimensionaler Daten

Ich habe Stichproben von zwei Klassen, die Vektoren im hochdimensionalen Raum sind, und ich möchte sie in 2D oder 3D darstellen. Ich kenne mich mit Techniken zur Reduzierung der Dimensionalität aus, aber ich brauche ein wirklich einfaches und benutzerfreundliches Tool (in Matlab, Python oder einer vorgefertigten EXE-Datei). Ich frage mich …

11 data-visualization matlab python dimensionality-reduction

3

Was sind die Annahmen der Faktoranalyse?

Ich möchte überprüfen, ob ich die [klassische, lineare] Faktoranalyse (FA) wirklich verstanden habe , insbesondere Annahmen , die vor (und möglicherweise nach) FA getroffen wurden. Einige der Daten sollten anfänglich korreliert sein, und es besteht eine mögliche lineare Beziehung zwischen ihnen. Nach der Faktorenanalyse werden die Daten normal verteilt (bivariate …

11 correlation factor-analysis assumptions dimensionality-reduction

2

Was ist der Vorteil der Reduzierung der Dimensionalität von Prädiktoren zum Zwecke der Regression?

Was sind die Anwendungen oder Vorteile der Dimensionsreduktion Regression (DRR) oder beaufsichtigten Dimensionsreduktion (SDR) Techniken gegenüber herkömmlichen Regressionstechniken (ohne Dimensionsreduktion)? Diese Klasse von Techniken findet eine niedrigdimensionale Darstellung des Merkmalssatzes für das Regressionsproblem. Beispiele für solche Techniken umfassen in Scheiben geschnittene inverse Regression, Haupt-Hessische Richtungen, Geschnittene durchschnittliche Varianzschätzung, Kernel-Schnitt-Inverse-Regression, Hauptkomponenten-Regression …

11 regression machine-learning pca dimensionality-reduction

7

Datenreduktionstechnik zur Identifizierung von Ländertypen

Ich unterrichte einen Einführungskurs in Wirtschaftsgeographie. Um meinen Schülern zu helfen, ein besseres Verständnis für die Arten von Ländern in der heutigen Weltwirtschaft und ein Verständnis für Datenreduktionstechniken zu entwickeln, möchte ich eine Aufgabe erstellen, die eine Typologie verschiedener Arten von Ländern erstellt (z. B. einkommensstarke Länder mit hohem Einkommen) …

11 pca factor-analysis dimensionality-reduction

2

Wie werden Parameter für t-SNE zur Reduzierung der Abmessungen bestimmt?

Ich bin sehr neu in Worteinbettungen. Ich möchte visualisieren, wie die Dokumente nach dem Lernen aussehen. Ich habe gelesen, dass t-SNE der Ansatz ist, dies zu tun. Ich habe 100.000 Dokumente mit 250 Dimensionen als Größe der Einbettung. Es gibt auch mehrere Pakete zur Verfügung. Für t-SNE weiß ich jedoch …

11 pca dimensionality-reduction word2vec word-embeddings tsne

3

Die erste Hauptkomponente trennt keine Klassen, andere PCs jedoch. wie ist das möglich?

Ich habe PCA mit 17 quantitativen Variablen ausgeführt, um einen kleineren Satz von Variablen zu erhalten, dh Hauptkomponenten, die beim überwachten maschinellen Lernen zur Klassifizierung von Instanzen in zwei Klassen verwendet werden sollen. Nach PCA macht PC1 31% der Varianz in den Daten aus, PC2 17%, PC3 10%, PC4 8%, …

11 machine-learning classification pca dimensionality-reduction

1

Fragen zu PCA: Wann sind PCs unabhängig? Warum reagiert PCA empfindlich auf Skalierung? Warum müssen PCs orthogonal sein?

Ich versuche einige Beschreibungen von PCA zu verstehen (die ersten beiden stammen aus Wikipedia), Hervorhebung hinzugefügt: Hauptkomponenten sind nur dann garantiert unabhängig , wenn der Datensatz gemeinsam normalverteilt ist . Ist die Unabhängigkeit der Hauptkomponenten sehr wichtig? Wie kann ich diese Beschreibung verstehen? PCA reagiert empfindlich auf die relative Skalierung …

11 pca dimensionality-reduction

4

Ist „zufällige Projektion“ streng genommen keine Projektion?

Aktuelle Implementierungen des Zufallsprojektionsalgorithmus reduzieren die Dimensionalität von Datenproben, indem sie von R.dRd\mathbb R^d auf R.kRk\mathbb R^k Verwendung einer d× kd×kd\times k Projektionsmatrix R.RR abgebildet werden, deren Einträge aus einer geeigneten Verteilung stammen (zum Beispiel aus N.( 0 , 1 )N(0,1)\mathcal N(0,1) ): x′=1k√xRx′=1kxRx^\prime = \frac{1}{\sqrt k}xR Praktischerweise gibt es …

10 terminology dimensionality-reduction linear-algebra random-projection

3

Wann würden Sie bei der Klassifizierung eher PCA als LDA verwenden?

Ich lese diesen Artikel über den Unterschied zwischen der Analyse von Hauptkomponenten und der Analyse mehrerer Diskriminanten (lineare Diskriminanzanalyse) und versuche zu verstehen, warum Sie jemals PCA anstelle von MDA / LDA verwenden würden. Die Erklärung ist wie folgt zusammengefasst: Grob gesagt versuchen wir in PCA, die Achsen mit maximalen …

10 classification pca dimensionality-reduction discriminant-analysis

1

Ist eine groß angelegte PCA überhaupt möglich?

Die klassische Methode der Hauptkomponentenanalyse (PCA) besteht darin, sie auf einer Eingabedatenmatrix durchzuführen, deren Spalten den Mittelwert Null haben (dann kann PCA die Varianz "maximieren"). Dies kann leicht durch Zentrieren der Säulen erreicht werden. Wenn jedoch die Eingabematrix dünn ist, ist die zentrierte Matrix jetzt länger dünn und passt - …

10 pca algorithms dimensionality-reduction large-data sparse

Als «dimensionality-reduction» getaggte Fragen