Statistiken und Big Data text-mining

2

Wie berechnet man die Ratlosigkeit eines Holdouts mit Latent Dirichlet Allocation?

Ich bin verwirrt darüber, wie die Verwirrung einer Holdout-Stichprobe bei der Latent Dirichlet Allocation (LDA) berechnet wird. Die Zeitungen über das Thema rauschen darüber hinweg und lassen mich denken, ich vermisse etwas Offensichtliches ... Ratlosigkeit wird als ein gutes Maß für die Leistung von LDA angesehen. Die Idee ist, dass …

18 text-mining topic-models

5

Textklassifizierung in großem Maßstab

Ich möchte meine Textdaten klassifizieren. Ich habe 300 classes200 Schulungsunterlagen pro Klasse (so 60000 documents in total) und dies wird wahrscheinlich zu sehr hohen Maßangaben führen (wir suchen möglicherweise nach mehr als 1 Million Dimensionen ). Ich möchte die folgenden Schritte in der Pipeline ausführen (um Ihnen einen Eindruck von …

18 machine-learning classification text-mining

1

Ich möchte einen Kriminalitätsindex und einen politischen Instabilitätsindex aufbauen, die auf Nachrichten basieren

Ich habe dieses Nebenprojekt, bei dem ich die lokalen Nachrichten-Websites in meinem Land crawle und einen Kriminalitätsindex und einen Index für politische Instabilität erstellen möchte. Ich habe bereits den Informationsabrufteil des Projekts behandelt. Mein Plan ist zu tun: Unbeaufsichtigte Themenextraktion. Nahezu doppelte Erkennung. Beaufsichtigte Einstufung und Ereignisstufe (Kriminalität / politisch …

17 machine-learning classification text-mining

1

Die Eingabeparameter für die Verwendung der latenten Dirichlet-Zuordnung

Bei Verwendung der Themenmodellierung (Latent Dirichlet Allocation) ist die Anzahl der Themen ein Eingabeparameter, den der Benutzer angeben muss. Ich denke, wir sollten auch eine Sammlung von Kandidatenthemensätzen bereitstellen, mit denen der Dirichlet-Prozess verglichen werden muss. Ist mein Verständnis korrekt? Wie kann man in der Praxis ein solches Kandidatenthemaset einrichten?

17 machine-learning bayesian clustering text-mining dirichlet-distribution

2

Warum funktioniert der Ridge-Regressionsklassifikator für die Textklassifizierung recht gut?

Während eines Experiments zur Textklassifizierung habe ich Ergebnisse gefunden, die die Tests unter den Klassifizierern, die häufiger erwähnt und für Text-Mining-Aufgaben wie SVM, NB, kNN usw. angewendet werden, ständig übertreffen zur Optimierung jedes Klassifikators für diese spezielle Textklassifizierungsaufgabe, mit Ausnahme einiger einfacher Änderungen an den Parametern. Ein solches Ergebnis wurde …

17 machine-learning classification text-mining ridge-regression

1

Themenvorhersage mit latenter Dirichlet-Zuordnung

Ich habe LDA für ein Korpus von Dokumenten verwendet und einige Themen gefunden. Die Ausgabe meines Codes besteht aus zwei Matrizen, die Wahrscheinlichkeiten enthalten. Wahrscheinlichkeiten für ein Dokumentthema und die Wahrscheinlichkeiten für das andere Wortthema. Aber ich weiß nicht, wie ich diese Ergebnisse verwenden soll, um das Thema eines neuen …

17 text-mining topic-models

2

Wann kombinieren wir Dimensionsreduktion mit Clustering?

Ich versuche, Clustering auf Dokumentebene durchzuführen. Ich habe die Term-Document-Frequenzmatrix konstruiert und versuche, diese hochdimensionalen Vektoren mit k-Mitteln zu clustern. Anstatt direkt zu clustern, habe ich zuerst die LSA-Singularvektorzerlegung (Latent Semantic Analysis) angewendet, um die U, S, Vt-Matrizen zu erhalten, eine geeignete Schwelle unter Verwendung des Geröllplots ausgewählt und Clusterbildung …

16 clustering pca dimensionality-reduction text-mining svd

2

Was ist eine gute Methode für das Kurztext-Clustering?

Ich arbeite an einem Text-Clustering-Problem. Die Daten enthalten mehrere Sätze. Gibt es einen guten Algorithmus, der bei kurzen Texten eine hohe Genauigkeit erzielt? Können Sie gute Referenzen vorlegen? Algorithmen wie KMeans und Spectral Clustering funktionieren für dieses Problem nicht gut.

15 machine-learning clustering text-mining

4

Text Mining: Wie gruppiert man Texte (zB Nachrichtenartikel) mit künstlicher Intelligenz?

Ich habe einige neuronale Netze (MLP (vollständig verbunden), Elman (wiederkehrend)) für verschiedene Aufgaben aufgebaut, z. B. zum Spielen von Pong, zum Klassifizieren handgeschriebener Ziffern und anderer Dinge ... Zusätzlich habe ich versucht, einige erste Faltungs-Neuronale Netze aufzubauen, z. B. zum Klassifizieren von mehrstelligen handschriftlichen Notizen, aber ich bin völlig neu …

15 clustering neural-networks feature-selection text-mining self-organizing-maps

3

Was sind die Unterschiede zwischen Latent Semantic Analysis (LSA), Latent Semantic Indexing (LSI) und Singular Value Decomposition (SVD)?

Diese Begriffe werden oft zusammengewürfelt, aber ich würde gerne wissen, was Ihrer Meinung nach die Unterschiede sind, wenn überhaupt. Vielen Dank

15 pca text-mining svd

5

Wie mache ich eine Textklassifizierung in einer Klasse?

Ich muss mich mit einem Textklassifizierungsproblem befassen. Ein Webcrawler durchsucht Webseiten einer bestimmten Domain und ich möchte für jede Webseite herausfinden, ob sie nur zu einer bestimmten Klasse gehört oder nicht. Das heißt, wenn ich diese Klasse Positiv nenne , gehört jede gecrawlte Webseite entweder zur Klasse Positiv oder zur …

14 classification text-mining naive-bayes binary-data

3

Themenmodelle für kurze Dokumente

Inspiriert von dieser Frage frage ich mich, ob an Themenmodellen für große Sammlungen von extrem kurzen Texten gearbeitet wurde. Meiner Intuition nach sollte Twitter eine natürliche Inspiration für solche Modelle sein. Nach einigen begrenzten Experimenten sieht es jedoch so aus, als ob Standardthemenmodelle (LDA usw.) mit dieser Art von Daten …

14 references text-mining topic-models natural-language

2

Beispiele für Text Mining mit R (TM-Paket)

Ich verbrachte drei Tage damit, mich mit tmeinem Entwurf eines Freundes zu beschäftigen, in dem er mit UCINET einen Textkorpus erkundete, der Textwolken, Zwei-Modus-Netzwerkgraphen und Einzelwertzerlegung (mit Grafiken, unter Verwendung von Stata) zeigte. Ich habe viele Probleme: Unter Mac OS X gibt es Probleme mit Java hinter Bibliotheken wie Snowball …

14 r text-mining

2

Ab welchem n werden n-Gramm kontraproduktiv?

Bei der Verarbeitung natürlicher Sprache kann man einen Korpus nehmen und die Wahrscheinlichkeit des Auftretens des nächsten Wortes in einer Folge von n auswerten. n wird normalerweise als 2 oder 3 gewählt (Bigramm und Trigramm). Gibt es einen bekannten Punkt, an dem die Verfolgung der Daten für die n-te Kette …

13 text-mining natural-language

1

Automatische Keyword-Extraktion: Verwenden von Cosinus-Ähnlichkeiten als Features

Ich habe eine Dokument-Term-Matrix und möchte jetzt mit einer überwachten Lernmethode (SVM, Naive Bayes, ...) Schlüsselwörter für jedes Dokument extrahieren. In diesem Modell verwende ich bereits Tf-idf, Pos-Tag, ...MMM Aber jetzt wundere ich mich über die Zusammenhänge. Ich habe eine Matrix mit den Kosinusähnlichkeiten zwischen den Begriffen.CCC Gibt es eine …

12 text-mining feature-construction supervised-learning cosine-distance cosine-similarity

Als «text-mining» getaggte Fragen