Statistiken und Big Data classification

2

Erkennung von Betrugsmustern bei einer Prüfung mit mehreren Fragen

FRAGE: Ich habe Binärdaten zu Prüfungsfragen (richtig / falsch). Einige Personen hatten möglicherweise zuvor Zugriff auf eine Untergruppe von Fragen und ihre richtigen Antworten. Ich weiß nicht wer, wie viele oder welche. Wenn es kein Schummeln gäbe, nehme ich an, ich würde die Wahrscheinlichkeit einer korrekten Antwort für Item als …

25 r clustering classification psychometrics

3

Was sind die Vorteile des Stapelns mehrerer LSTMs?

Was sind die Vorteile, warum sollte man mehrere nebeneinander gestapelte LSTMs in einem tiefen Netzwerk verwenden? Ich verwende einen LSTM, um eine Folge von Eingaben als eine einzige Eingabe darzustellen. Also, wenn ich diese einzige Darstellung habe - warum sollte ich sie noch einmal durchgehen? Ich frage dies, weil ich …

25 classification neural-networks deep-learning lstm rnn

2

Bag-of-Words für die Textklassifizierung: Warum nicht einfach Worthäufigkeiten anstelle von TFIDF verwenden?

Ein üblicher Ansatz zur Klassifizierung von Texten besteht darin, einen Klassifikator aus einem Wortsack zu schulen. Der Benutzer nimmt den zu klassifizierenden Text und zählt die Häufigkeit der Wörter in jedem Objekt, gefolgt von einer Art Beschnitt, um die resultierende Matrix in einer überschaubaren Größe zu halten. Oft sehe ich …

24 machine-learning classification text-mining

1

Wie groß ist die Wahrscheinlichkeit, dass zufällige Punkte in Dimensionen linear trennbar sind?

Bei Datenpunkten mit jeweils Merkmalen werden als und die anderen als . Jedes Merkmal erhält zufällig einen Wert von (gleichmäßige Verteilung). Wie groß ist die Wahrscheinlichkeit, dass es eine Hyperebene gibt, die die beiden Klassen aufteilen kann?d n / 2 0 n / 2 1 [ 0 , 1 ]nnndddn …

24 probability classification mathematical-statistics separation

3

Cross-Validierung oder Bootstrapping zur Bewertung der Klassifizierungsleistung?

Welche Stichprobenmethode eignet sich am besten, um die Leistung eines Klassifikators für einen bestimmten Datensatz zu bewerten und mit anderen Klassifikatoren zu vergleichen? Kreuzvalidierung scheint Standard zu sein, aber ich habe gelesen, dass Methoden wie .632-Bootstrap eine bessere Wahl sind. Als Follow-up: Hat die Auswahl der Leistungsmetrik Einfluss auf die …

24 machine-learning classification predictive-models cross-validation bootstrap

2

Wie groß ist ein Trainingsset?

Gibt es eine gängige Methode, um zu bestimmen, wie viele Trainingsmuster erforderlich sind, um einen Klassifikator (in diesem Fall einen LDA) zu trainieren, um eine Mindestgenauigkeit für die Verallgemeinerung des Schwellenwerts zu erhalten? Ich frage, weil ich die Kalibrierungszeit minimieren möchte, die normalerweise für eine Gehirn-Computer-Schnittstelle erforderlich ist.

24 classification

4

Welches Problem lösen Oversampling, Undersampling und SMOTE?

In einer kürzlich gut erhaltenen Frage fragt Tim, wann unausgeglichene Daten wirklich ein Problem beim maschinellen Lernen sind . Die Prämisse der Frage ist, dass es eine Menge Literatur zum maschinellen Lernen gibt, die sich mit dem Klassengleichgewicht und dem Problem unausgeglichener Klassen befasst . Die Idee ist, dass Datensätze …

24 machine-learning classification predictive-models unbalanced-classes

2

Was ist der Unterschied zwischen einer Verlustfunktion und einer Entscheidungsfunktion?

Ich sehe, dass beide Funktionen Teil von Data Mining-Methoden wie Gradient Boosting Regressors sind. Ich sehe, dass dies auch separate Objekte sind. Wie ist die Beziehung zwischen beiden im Allgemeinen?

23 regression classification data-mining decision-theory

2

Wie gehe ich mit dem Unterschied zwischen der Verteilung des Testsatzes und des Trainingssatzes um?

Ich denke, eine Grundannahme des maschinellen Lernens oder der Parameterschätzung ist, dass die unsichtbaren Daten aus derselben Verteilung stammen wie der Trainingssatz. In einigen praktischen Fällen wird sich die Verteilung des Testsatzes jedoch fast von der des Trainingssatzes unterscheiden. Sagen wir für ein umfangreiches Multiklassifizierungsproblem, bei dem versucht wird, Produktbeschreibungen …

23 machine-learning classification skewness unbalanced-classes multi-class

3

Visualisierung der Kalibrierung der vorhergesagten Wahrscheinlichkeit eines Modells

Angenommen, ich habe ein Vorhersagemodell, das für jede Klasse eine Wahrscheinlichkeit ergibt. Jetzt erkenne ich, dass es viele Möglichkeiten gibt, ein solches Modell zu bewerten, wenn ich diese Wahrscheinlichkeiten für die Klassifizierung verwenden möchte (Genauigkeit, Erinnerung usw.). Ich erkenne auch, dass eine ROC-Kurve und die Fläche darunter verwendet werden können, …

23 data-visualization classification predictive-models binary-data calibration

5

Alternativen zu Klassifizierungsbäumen mit besserer Prognoseleistung (z. B. Lebenslauf)?

Ich suche nach einer Alternative zu Klassifikationsbäumen, die eine bessere Vorhersagekraft bietet. Die Daten, mit denen ich mich befasse, haben Faktoren sowohl für die erklärenden als auch für die erklärenden Variablen. Ich erinnere mich, dass ich in diesem Zusammenhang auf zufällige Wälder und neuronale Netze gestoßen bin, obwohl ich sie …

23 r machine-learning classification cart

6

Testgenauigkeit höher als beim Training. Wie zu interpretieren?

Ich habe einen Datensatz mit höchstens 150 Beispielen (aufgeteilt in Training und Test) mit vielen Funktionen (höher als 1000). Ich muss Klassifikatoren und Merkmalsauswahlmethoden vergleichen, die für Daten eine gute Leistung erbringen. Daher verwende ich drei Klassifizierungsmethoden (J48, NB, SVM) und zwei Feature-Auswahlmethoden (CFS, WrapperSubset) mit unterschiedlichen Suchmethoden (Greedy, BestFirst). …

23 classification feature-selection

4

Warum verwenden Forscher die 10-fache Kreuzvalidierung, anstatt einen Validierungssatz zu testen?

Ich habe viele Forschungsarbeiten über Stimmungsklassifikation und verwandte Themen gelesen. Die meisten von ihnen verwenden eine 10-fache Kreuzvalidierung, um Klassifikatoren zu trainieren und zu testen. Das bedeutet, dass keine separaten Tests / Validierungen durchgeführt werden. Warum das? Was sind die Vor- und Nachteile dieses Ansatzes, insbesondere für Forscher?

23 classification cross-validation

1

Auswahl unter den richtigen Bewertungsregeln

In den meisten Ressourcen zu den Regeln für die richtige Bewertung werden verschiedene Bewertungsregeln wie Protokollverlust, Brier-Punktzahl oder sphärische Bewertung erwähnt. Häufig geben sie jedoch keine Orientierungshilfe zu den Unterschieden zwischen ihnen. (Anlage A: Wikipedia .) Die Auswahl des Modells, das die logarithmische Bewertung maximiert, entspricht der Auswahl des Maximum-Likelihood-Modells, …

22 machine-learning classification model-selection theory scoring-rules

2

Eingeschränkte Boltzmann-Maschinen gegen mehrschichtige neuronale Netze

Ich wollte mit einem neuronalen Netzwerk experimentieren, um ein Klassifizierungsproblem zu lösen, mit dem ich konfrontiert bin. Ich stieß auf Papiere, die von RBMs sprachen. Aber soweit ich das verstehen kann, unterscheiden sie sich nicht von einem mehrschichtigen neuronalen Netzwerk. Ist das genau? Außerdem arbeite ich mit R und sehe …

22 r machine-learning classification neural-networks

Als «classification» getaggte Fragen