Statistiken und Big Data tsne

4

Was sind die Unterschiede zwischen Autoencodern und t-SNE?

Soweit ich weiß, werden sowohl Autoencoder als auch t-SNE zur nichtlinearen Dimensionsreduktion verwendet. Was sind die Unterschiede zwischen ihnen und warum sollte ich einen gegen einen anderen verwenden?

12 neural-networks deep-learning dimensionality-reduction autoencoders tsne

2

Wie werden Parameter für t-SNE zur Reduzierung der Abmessungen bestimmt?

Ich bin sehr neu in Worteinbettungen. Ich möchte visualisieren, wie die Dokumente nach dem Lernen aussehen. Ich habe gelesen, dass t-SNE der Ansatz ist, dies zu tun. Ich habe 100.000 Dokumente mit 250 Dimensionen als Größe der Einbettung. Es gibt auch mehrere Pakete zur Verfügung. Für t-SNE weiß ich jedoch …

11 pca dimensionality-reduction word2vec word-embeddings tsne

1

Was bedeutet PCA, wenn nur große paarweise Abstände beibehalten werden?

Ich lese gerade über die t-SNE-Visualisierungstechnik und es wurde erwähnt, dass einer der Nachteile der Verwendung der Hauptkomponentenanalyse (PCA) zur Visualisierung hochdimensionaler Daten darin besteht, dass nur große paarweise Abstände zwischen den Punkten beibehalten werden. Bedeutungspunkte, die im hochdimensionalen Raum weit voneinander entfernt sind, würden auch im niedrigdimensionalen Unterraum weit …

10 machine-learning data-visualization pca tsne

1

t-SNE mit gemischten kontinuierlichen und binären Variablen

Ich untersuche derzeit die Visualisierung hochdimensionaler Daten mit t-SNE. Ich habe einige Daten mit gemischten binären und kontinuierlichen Variablen und die Daten scheinen die binären Daten viel zu leicht zu gruppieren. Dies wird natürlich für skalierte Daten (zwischen 0 und 1) erwartet: Der euklidische Abstand ist zwischen binären Variablen immer …

10 python dimensionality-reduction unsupervised-learning tsne mixed-type-data

3

PCA zu langsam, wenn beide n, p groß sind: Alternativen?

Problemeinrichtung Ich habe Datenpunkte (Bilder) mit hoher Dimension (4096), die ich in 2D visualisieren möchte. Zu diesem Zweck verwende ich t-sne auf ähnliche Weise wie der folgende Beispielcode von Karpathy . In der Scikit-Learn-Dokumentation wird empfohlen, PCA zu verwenden, um zunächst die Dimension der Daten zu verringern : Es wird …

9 pca dimensionality-reduction high-dimensional java tsne

2

Skalierbare Dimensionsreduzierung

In Anbetracht der konstanten Anzahl von Merkmalen hat Barnes-Hut t-SNE eine Komplexität von , zufällige Projektionen und PCA eine Komplexität von was sie für sehr große Datenmengen "erschwinglich" macht.O ( n )O ( n logn )O(nlog⁡n)O(n\log n)O ( n )O(n)O(n) Andererseits weisen Verfahren, die auf mehrdimensionaler Skalierung beruhen , eine …

9 pca dimensionality-reduction large-data multidimensional-scaling tsne

1

Wie heißt die Verteilungsfamilie mit PDF proportional zu ?

Betrachten Sie eine Familie von Verteilungen mit PDF (bis zu einer Proportionalitätskonstante), die durch Wie heißt es? Wenn es keinen Namen hat, wie würden Sie es nennen?p(x)∼1(1+αx2)1/α.p(x)∼1(1+αx2)1/α.p(x)\sim \frac{1}{(1+\alpha x^2)^{1/\alpha}}. Es sieht der Familie der Verteilungen mit PDF, das proportional zu ziemlich ähnlichp ( x ) ≤ 1tttp(x)∼1(1+1νx2)(ν+1)/2.p(x)∼1(1+1νx2)(ν+1)/2.p(x)\sim \frac{1}{(1+\frac{1}{\nu} x^2)^{(\nu+1)/2}}. Wenn …

8 distributions terminology t-distribution tsne cauchy

1

Intuition zur t-SNE-Visualisierungstechnik

Ich erzeugte eine t-SNE-Visualisierung eines Datensatzes (ungefähr 10 standardisierte (Mittelwert = 0, sd = 1) numerische Merkmale) und kam zu einem folgenden zweidimensionalen Diagramm. Ich habe keine gute Vorstellung davon, warum die Punkte in bogenförmigen Gruppen ausgerichtet sind, siehe zum Beispiel den rechten unteren Teil des beigefügten Bildes (oder den …

8 data-visualization tsne

2

Warum werden bei der Implementierung von t-SNE in R standardmäßig Duplikate entfernt?

Insbesondere hat die R-Implementierung von t-SNE im Rtsne-Paket das Argument "check_duplicates", und die Dokumentation schlägt vor, dass "es am besten ist, sicherzustellen, dass keine Duplikate vorhanden sind, und diese Option auf FALSE zu setzen, insbesondere für große Datenmengen". Wenn Sie versuchen, t-SNE für ein Dataset in R auszuführen, das Duplikate …

7 tsne

Als «tsne» getaggte Fragen