Statistiken und Big Data topic-models

4

R-Pakete zur Themenmodellierung / LDA: nur "TopicModels" und "LDA" [geschlossen]

Es scheint mir, dass nur zwei R-Pakete in der Lage sind, Latent Dirichlet Allocation durchzuführen : Einer ist lda, verfasst von Jonathan Chang; und die andere stammt topicmodelsvon Bettina Grün und Kurt Hornik. Was sind die Unterschiede zwischen diesen beiden Paketen in Bezug auf Leistung, Implementierungsdetails und Erweiterbarkeit?

29 r bayesian text-mining topic-models latent-dirichlet-alloc

3

Themenmodelle und Methoden zum gemeinsamen Auftreten von Wörtern

Beliebte Themenmodelle wie LDA bilden in der Regel Clusterwörter, die in der Regel zusammen in einem Thema (Cluster) vorkommen. Was ist der Hauptunterschied zwischen solchen Themenmodellen und anderen einfachen Clustering-Ansätzen auf der Basis von Koexistenz wie PMI? (PMI steht für Pointwise Mutual Information und wird verwendet, um die Wörter zu …

26 machine-learning text-mining natural-language topic-models

2

Themenstabilität in Themenmodellen

Ich arbeite an einem Projekt, in dem ich Informationen über den Inhalt einer Reihe von Aufsätzen mit offenem Ende extrahieren möchte. In diesem speziellen Projekt schrieben 148 Personen Aufsätze über eine hypothetische Studentenorganisation als Teil eines größeren Experiments. Obwohl in meinem Fachgebiet (Sozialpsychologie) die typische Methode zur Analyse dieser Daten …

23 machine-learning model-selection small-sample topic-models dirichlet-process

2

Natürliche Interpretation für LDA-Hyperparameter

Kann jemand erklären, was die natürliche Interpretation für LDA-Hyperparameter ist? ALPHAund BETAsind Parameter von Dirichlet-Verteilungen für (pro Dokument) Themen- bzw. (pro Thema) Wortverteilungen. Kann jemand erklären, was es bedeutet, größere Werte dieser Hyperparameter gegenüber kleineren Werten zu wählen? Bedeutet das, dass vorher in Bezug auf die thematische Sparsamkeit in Dokumenten …

21 interpretation prior topic-models hyperparameter

2

Wie berechnet man die Ratlosigkeit eines Holdouts mit Latent Dirichlet Allocation?

Ich bin verwirrt darüber, wie die Verwirrung einer Holdout-Stichprobe bei der Latent Dirichlet Allocation (LDA) berechnet wird. Die Zeitungen über das Thema rauschen darüber hinweg und lassen mich denken, ich vermisse etwas Offensichtliches ... Ratlosigkeit wird als ein gutes Maß für die Leistung von LDA angesehen. Die Idee ist, dass …

18 text-mining topic-models

1

Themenvorhersage mit latenter Dirichlet-Zuordnung

Ich habe LDA für ein Korpus von Dokumenten verwendet und einige Themen gefunden. Die Ausgabe meines Codes besteht aus zwei Matrizen, die Wahrscheinlichkeiten enthalten. Wahrscheinlichkeiten für ein Dokumentthema und die Wahrscheinlichkeiten für das andere Wortthema. Aber ich weiß nicht, wie ich diese Ergebnisse verwenden soll, um das Thema eines neuen …

17 text-mining topic-models

3

Themenmodelle für kurze Dokumente

Inspiriert von dieser Frage frage ich mich, ob an Themenmodellen für große Sammlungen von extrem kurzen Texten gearbeitet wurde. Meiner Intuition nach sollte Twitter eine natürliche Inspiration für solche Modelle sein. Nach einigen begrenzten Experimenten sieht es jedoch so aus, als ob Standardthemenmodelle (LDA usw.) mit dieser Art von Daten …

14 references text-mining topic-models natural-language

1

Wann sollte LDA über GMM für das Clustering verwendet werden?

Ich habe einen Datensatz mit Benutzeraktivitäten mit 168 Dimensionen, in dem ich Cluster mithilfe von unbeaufsichtigtem Lernen extrahieren möchte. Es ist mir nicht klar, ob ich einen Themenmodellierungsansatz in der Latent Dirichlet Allocation (LDA) oder in Gaussian Mixture Models (GMM) verwenden soll, der eher ein Bayes'scher Ansatz ist. In dieser …

8 clustering gaussian-mixture unsupervised-learning topic-models

1

Verwenden von von LDA generierten Themenwörtern zur Darstellung eines Dokuments

Ich möchte eine Dokumentklassifizierung durchführen, indem ich jedes Dokument als eine Reihe von Funktionen darstelle. Ich weiß, dass es viele Möglichkeiten gibt: BOW, TFIDF, ... Ich möchte Latent Dirichlet Allocation (LDA) verwenden, um die Themenschlüsselwörter von JEDEM EINZELNEN Dokument zu extrahieren. Das Dokument wird durch diese Themenwörter dargestellt. Ich weiß …

8 feature-selection text-mining topic-models latent-dirichlet-alloc

Als «topic-models» getaggte Fragen