t-SNE gegen MDS

Ich habe kürzlich einige Fragen zu t-SNE ( t-Distributed Stochastic Neighbor Embedding ) gelesen und auch einige Fragen zu MDS ( Multidimensional Scaling ) besucht.

Sie werden oft analog verwendet, daher schien es eine gute Idee zu sein, diese Frage zu stellen, da es hier viele Fragen zu beiden getrennt (oder verglichen mit PCA ) gibt.

Kurz gesagt, was unterscheidet t-SNE und MDS? z.B. Welche Feinheiten der Datenhierarchie werden untersucht, welche Annahmen werden getroffen usw.

Konvergenzrate? Was ist mit der Verwendung von Kerneln? Stimmen beide überein?

PCA wählt Einflussdimensionen durch Eigenanalyse der N Datenpunkte selbst aus, während MDS Einflussdimensionen durch Eigenanalyse der Datenpunkte einer paarweisen Distanzmatrix auswählt . Dies hat zur Folge, dass die Abweichungen von der Gleichmäßigkeit in der Verteilung hervorgehoben werden. Betrachtet man die Distanzmatrix als analog zu einem Spannungstensor, so kann MDS als ein "kraftgerichteter" Layoutalgorithmus angesehen werden, dessen Ausführungskomplexität wobei . $N^2$$\mathcal O(dN^a)$$3 < a \leq 4$

Andererseits verwendet t-SNE eine Feldapproximation, um eine etwas andere Form des kraftgerichteten Layouts auszuführen, typischerweise über Barnes-Hut, was eine auf beruhende Komplexität auf reduziert , aber die Konvergenzeigenschaften sind für diese iterative stochastische Approximationsmethode weniger bekannt (nach meinem besten Wissen), und für die typischen beobachteten Laufzeiten im Allgemeinen länger als andere Dimensionsverringerungsmethoden. Die Ergebnisse sind oft visuell besser interpretierbar als naive Eigenanalysen und je nach Verteilung oft intuitiver als MDS-Ergebnisse, bei denen die globale Struktur tendenziell auf Kosten der von t-SNE beibehaltenen lokalen Struktur erhalten bleibt.$\mathcal O(dN^2)$$\mathcal O(dN\cdot \log(N))$$2 \leq d \leq 4$

MDS ist bereits eine Vereinfachung von Kernel-PCA und sollte mit alternativen Kerneln erweiterbar sein, während Kernel-t-SNE in Arbeiten von Gilbrecht, Hammer, Schulz, Mokbel, Lueks et al. Ich bin damit praktisch nicht vertraut, aber vielleicht kann es ein anderer Befragter sein.

Ich wähle zwischen MDS und t-SNE aufgrund der kontextbezogenen Ziele. Welche Struktur ich hervorheben möchte, welche Struktur die größere Aussagekraft hat, das ist der Algorithmus, den ich verwende. Dies kann als Fallstrick angesehen werden, da es sich um eine Form des Freiheitsgrades für Forscher handelt. Aber weise genutzte Freiheit ist keine so schlechte Sache.