Sind t-sne-Dimensionen sinnvoll?

Gibt es Bedeutungen für die Dimensionen einer t-sne Einbettung? Wie bei PCA haben wir diesen Sinn für linear transformierte Varianzmaximierungen, aber für t-sne gibt es neben dem Raum, den wir für die Abbildung und Minimierung des KL-Abstands definieren, auch Intuition?

dimensionality-reduction tsne

— Nitro
quelle

Ich bin mir nicht sicher, ob dies wirklich Ihren Wünschen entspricht, aber ich glaube, dass die Dimensionen von t-sne wirklich nur von der Trennbarkeit der Daten abhängen. Die Dimensionen können sich bei gleichem Datensatz ändern, da es sich um eine nichtlineare Transformation handelt. Die Dimensionen können also nur im Kontext einer bestimmten Instanz interpretiert werden. Lassen Sie mich wissen, wenn ich falsch liege, es ist eine interessante Frage.

— Hobbes

Vielleicht ist es nur langweilig, alter ℝ3?

— Nitro

Die Dimensionen des niedrigdimensionalen Raumes haben keine Bedeutung. Es ist zu beachten, dass die t-SNE-Verlustfunktion ausschließlich auf den Abständen zwischen Punkten ( und ) und den Wahrscheinlichkeitsverteilungen über diese Abstände ( und ) basiert : $y_i$ $y_j$ $p_{ij}$ $q_{ij}$

\frac{δ C}{δ y_{ich}} = 4 \sum_{j} (p_{ich j} - q_{ich j}) (y_{ich} - y_{j}) (1 + | | y_{ich} - y_{j} | |^{2})^{- 1}

$\frac{\delta C}{\delta y_i}=4 \sum_j(p_{ij} - q_{ij})(y_i-y_j)(1+||y_i -y_j||^2)^{-1}$

Somit gibt es keine Projektion vom gesamten hochdimensionalen Raum zum niedrigdimensionalen Raum, t-SNE findet nur eine Abbildung von einer bestimmten Menge hochdimensionaler Punkte auf eine bestimmte Menge niedrigdimensionaler Punkte. Da es keine Funktion von einem Raum zum anderen gibt, haben die Achsen auch keine inhärente Bedeutung.

Dinge, die Sie sich vorstellen können, um dies zu veranschaulichen:

Das Drehen oder Verschieben des hochdimensionalen oder niedrigdimensionalen Raums hat keinen Einfluss auf die Abstände zwischen den Punkten. Daher kümmert sich t-SNE nicht um Rotation oder Translation in beiden Räumen. Es gibt also keine absolute Interpretation der Achsen.
Die t-Student-Distribution hat dicke Schwänze. Dies bewirkt, dass die niedrigdimensionale Darstellung gegenüber Änderungen von Punkten, die weit entfernt im hochdimensionalen Raum liegen, unveränderlich ist. Dies führt auch dazu, dass Punkte, die im hochdimensionalen Raum weit entfernt sind, entweder einigermaßen weit entfernt, weit entfernt oder im niedrigdimensionalen Raum wirklich weit entfernt sein können. In diesem Sinne werden bestimmte Teile der niedrigdimensionalen Achsen (in beliebiger Richtung) gestreckt.

Abgesehen davon ist t-SNE in erster Linie eine Visualisierungstechnik, und die Wirksamkeit der Dimensionsreduzierung für andere Zwecke ist nicht offensichtlich (wahrscheinlich nicht für Clustering, Merkmalsextraktion oder Merkmalauswahl geeignet).

Auch: das Papier .

— Pieter
quelle