Intuition zur t-SNE-Visualisierungstechnik

Ich erzeugte eine t-SNE-Visualisierung eines Datensatzes (ungefähr 10 standardisierte (Mittelwert = 0, sd = 1) numerische Merkmale) und kam zu einem folgenden zweidimensionalen Diagramm. Ich habe keine gute Vorstellung davon, warum die Punkte in bogenförmigen Gruppen ausgerichtet sind, siehe zum Beispiel den rechten unteren Teil des beigefügten Bildes (oder den ganz linken Teil).

Einen ähnlichen Effekt fand ich im Originalpapier http://www.cs.toronto.edu/~hinton/absps/tsne.pdf - siehe Abbildung 4.a. Ich fand jedoch keine gute Erklärung für diese Art von Phänomen.

Irgendwelche Anschauungen, warum dies passiert?

Ein ähnliches Phänomen kann beobachtet werden, wenn Sie nach Bildern des "Spring Graph Layout" suchen, die Ihnen viele Beispiele für solche Bögen zeigen, wie dieses aus Wikipedia . Nahe der Oberseite am rechten Bildrand sehen wir einen solchen Bogen. Zugegeben, das ist nicht das beste Beispiel. Die obere rechte Ecke dieses Bildes auf diesem Papier zeigt den Effekt ein wenig

Die meisten dieser Diagrammvisualisierungen werden generiert, indem eine Federkraft zwischen jedem Paar verbundener Knoten simuliert wird und die Knoten sich entsprechend dieser Kraft bewegen können.

In t-SNE ist eine ähnliche Interpretation des Algorithmus möglich - Punkte im 2D-Raum haben eine Feder, deren Ruhelänge vom Abstand der Punkte im ursprünglichen hochdimensionalen Raum abhängt. Punkte, die im 2D-Raum näher sind als im hochdimensionalen Raum, werden weiter auseinander gedrückt, und Punkte, die im 2D-Raum weiter entfernt sind als im hochdimensionalen Raum, werden zusammengezogen.

Es ist also wahrscheinlich, dass sich die Bögen bilden, weil sie versuchen, einen konstanten Abstand zu einer anderen Gruppe von Punkten in den Daten einzuhalten.

Anders als im obigen Layout des Federdiagramms ist an jedes Punktpaar in t-SNE eine Feder / Kraft gebunden. Daher ist es eine berechtigte Frage, warum die Bögen nicht zu Blobs zusammenklumpen, wie in der Diagrammvisualisierung von gezeigt Wikipedia, wo einige Gruppen von Knoten an den Kanten eher rundliche Cluster als Bögen gebildet haben.

Ich vermute, der Grund dafür ist, dass jedem Punkt in t-SNE eine Varianz zugeordnet ist. Punkte in einem spärlicheren Bereich des hochdimensionalen Raums weisen eine höhere Varianz auf als Punkte in einem niedrigerdimensionalen Raum. Die Kraft auf die Federn von Punkten mit hoher Varianz wird verringert. Wenn sich also Punkte in einem Bogen in einem spärlichen Bereich des ursprünglichen Raums befinden würden, würde nur eine schwache Kraft versuchen, sie in einen Cluster zu ziehen, der andere möglicherweise nicht überwinden würde Gegenkräfte.

Darüber hinaus verwendeten die Autoren die Methode, um die Überfüllung zu verringern, indem sie eine Verteilung mit starkem Schwanz im 2D-Raum verwendeten, was bedeutet, dass Punkte nicht zu stark bestraft werden, wenn sie weiter voneinander entfernt sind, als sie sollten. Dies reduziert auch die Kräfte, die versuchen würden, einen Bogen in einen Cluster zu ziehen.