Wie werden Parameter für t-SNE zur Reduzierung der Abmessungen bestimmt?

Ich bin sehr neu in Worteinbettungen. Ich möchte visualisieren, wie die Dokumente nach dem Lernen aussehen. Ich habe gelesen, dass t-SNE der Ansatz ist, dies zu tun. Ich habe 100.000 Dokumente mit 250 Dimensionen als Größe der Einbettung. Es gibt auch mehrere Pakete zur Verfügung.

Für t-SNE weiß ich jedoch nicht, wie viele Iterationen oder den Wert von Alpha oder den Wert von Perpexilität ich behalten sollte, um besser zu lernen.

Sind diese Hyperparameter oder können diese durch einige Attribute bestimmt werden?

Ich kann den Artikel Wie man t-SNE effektiv einsetzt, nur empfehlen . Es enthält großartige animierte Darstellungen des Tsne-Anpassungsprozesses und war die erste Quelle, die mir ein intuitives Verständnis dafür gab, was Tsne tut.

Auf hoher Ebene ist Ratlosigkeit der entscheidende Parameter. Es ist eine gute Idee, die Ratlosigkeit 5, 30 und 50 zu versuchen und sich die Ergebnisse anzusehen.

Aber im Ernst, lesen Sie Wie man t-SNE effektiv einsetzt. Dadurch wird Ihre Nutzung von TSNE effektiver.

Verwenden Sie für Pakete Rtsne in R oder sklearn.manifold.TSNE in Python

Ich werde die FAQ von der t-SNE-Website zitieren . Zuerst für Ratlosigkeit:

Wie soll ich die Ratlosigkeit in t-SNE einstellen?

Die Leistung von t-SNE ist unter verschiedenen Einstellungen der Ratlosigkeit ziemlich robust. Der am besten geeignete Wert hängt von der Dichte Ihrer Daten ab. Man könnte sagen, dass ein größerer / dichterer Datensatz eine größere Ratlosigkeit erfordert. Typische Werte für die Ratlosigkeit liegen zwischen 5 und 50.

Für alle anderen Parameter würde ich Folgendes in Betracht ziehen:

Wie kann ich die Qualität der von t-SNE erstellten Visualisierungen beurteilen?

Am besten schau sie dir an! Beachten Sie, dass t-SNE keine Abstände, sondern Wahrscheinlichkeiten beibehält. Daher ist es nutzlos, einen Fehler zwischen den euklidischen Abständen in High-D und Low-D zu messen. Wenn Sie jedoch dieselben Daten und dieselben Verwirrungen verwenden, können Sie die von t-SNE gemeldeten Kullback-Leibler-Divergenzen vergleichen. Es ist vollkommen in Ordnung, t-SNE zehnmal auszuführen und die Lösung mit der geringsten KL-Divergenz auszuwählen.

Mit anderen Worten bedeutet es: Sehen Sie sich das Diagramm an. Wenn die Visualisierung gut ist, ändern Sie die Parameter nicht. Sie können auch den Lauf mit der niedrigsten KL-Divergenz für jede feste Ratlosigkeit auswählen.