Statistiken und Big Data unbalanced-classes

3

Kommt es bei der logistischen Regression auf eine unausgeglichene Stichprobe an?

Okay, ich denke, ich habe eine ausreichend gute Stichprobe, unter Berücksichtigung der 20: 1-Faustregel: eine ziemlich große Stichprobe (N = 374) für insgesamt 7 Kandidaten-Prädiktorvariablen. Mein Problem ist das Folgende: Unabhängig davon, welchen Satz von Prädiktorvariablen ich verwende, werden die Klassifikationen nie besser als eine Spezifität von 100% und eine …

81 regression logistic sample-size unbalanced-classes

5

Wann sind unausgeglichene Daten beim maschinellen Lernen wirklich ein Problem?

Wir hatten bereits mehrere Fragen zu unausgeglichenen Daten bei der Verwendung von logistischer Regression , SVM , Entscheidungsbäumen , Absacken und einer Reihe anderer ähnlicher Fragen, was es zu einem sehr beliebten Thema macht! Leider scheint jede der Fragen algorithmenspezifisch zu sein, und ich habe keine allgemeinen Richtlinien für den …

53 machine-learning classification predictive-models unbalanced-classes

6

Binäre Klassifikation mit stark unausgeglichenen Klassen

Ich habe einen Datensatz in Form von (Features, Binärausgang 0 oder 1), aber 1 kommt ziemlich selten vor. Wenn ich also immer 0 vorhersage, erhalte ich eine Genauigkeit zwischen 70% und 90% (abhängig von den jeweiligen Daten, die ich betrachte) ). Die ML-Methoden geben mir ungefähr die gleiche Genauigkeit, und …

52 machine-learning classification binary-data unbalanced-classes

4

Klassenungleichgewicht beim überwachten maschinellen Lernen

Dies ist im Allgemeinen eine Frage, die sich nicht auf eine Methode oder einen Datensatz bezieht. Wie gehen wir mit einem Klassenungleichgewichtsproblem beim überwachten maschinellen Lernen um, bei dem die Zahl 0 etwa 90% und die Zahl 1 etwa 10% in Ihrem Datensatz beträgt. Wie trainieren wir den Klassifikator optimal. …

47 machine-learning unbalanced-classes supervised-learning

4

Trainieren eines Entscheidungsbaums gegen unausgeglichene Daten

Ich bin neu im Data Mining und versuche, einen Entscheidungsbaum gegen einen Datensatz zu trainieren, der sehr unausgewogen ist. Ich habe jedoch Probleme mit der schlechten Vorhersagegenauigkeit. Die Daten bestehen aus Studenten, die Kurse studieren, und die Klassenvariable ist der Kursstatus, der zwei Werte hat - Zurückgezogen oder Aktuell. Alter …

43 classification cart unbalanced-classes accuracy

1

Verändert das Downsampling die logistischen Regressionskoeffizienten?

Wenn ich über einen Datensatz mit einer sehr seltenen positiven Klasse verfüge und die negative Klasse heruntersuche, muss ich dann eine logistische Regression durchführen, um die Regressionskoeffizienten anzupassen, um die Tatsache widerzuspiegeln, dass ich die Prävalenz der positiven Klasse geändert habe? Angenommen, ich habe einen Datensatz mit 4 Variablen: Y, …

34 logistic unbalanced-classes case-control-study

3

Was ist die Hauptursache für das Problem des Klassenungleichgewichts?

Ich habe in letzter Zeit viel über das "Klassenungleichgewichtsproblem" beim maschinellen / statistischen Lernen nachgedacht und gehe immer tiefer in das Gefühl ein, dass ich einfach nicht verstehe, was los ist. Lassen Sie mich zuerst meine Begriffe definieren (oder versuchen, sie zu definieren): Das Problem des Klassenungleichgewichts beim maschinellen / …

30 classification predictive-models unbalanced-classes scoring-rules

4

Optimierung für Precision-Recall-Kurven bei Klassenungleichgewicht

Ich habe eine Klassifizierungsaufgabe mit einer Reihe von Prädiktoren (von denen einer der informativste ist), und ich verwende das MARS- Modell, um meinen Klassifizierer zu konstruieren (ich interessiere mich für ein einfaches Modell und würde glms zur Veranschaulichung verwenden) auch gut). Jetzt habe ich ein großes Klassenungleichgewicht in den Trainingsdaten …

30 machine-learning roc precision-recall unbalanced-classes data-visualization

4

Wann sollte ich Klassen in einem Trainingsdatensatz ausgleichen?

Ich hatte einen Online-Kurs, in dem ich erfuhr, dass unausgeglichene Klassen in den Trainingsdaten zu Problemen führen können, da Klassifizierungsalgorithmen für die Mehrheitsregel gelten, da sie gute Ergebnisse liefern, wenn die Unausgeglichenheit zu groß ist. In einer Aufgabe musste man die Daten durch Unterabtastung der Mehrheitsklasse ausgleichen. In diesem Blog …

29 machine-learning classification unbalanced-classes

6

Stichprobengröße für logistische Regression?

Ich möchte aus meinen Umfragedaten ein logistisches Modell erstellen. Es handelt sich um eine kleine Umfrage unter vier Wohnkolonien, bei der nur 154 Befragte befragt wurden. Meine abhängige Variable ist "zufriedenstellender Übergang zur Arbeit". Ich fand heraus, dass von den 154 Befragten 73 sagten, dass sie zufriedenstellend zur Arbeit übergegangen …

26 logistic sample-size assumptions power unbalanced-classes

4

Was ist die richtige Verwendung von scale_pos_weight in xgboost für unausgeglichene Datasets?

Ich habe einen sehr unausgeglichenen Datensatz. Ich versuche den Tuning-Ratschlägen zu folgen und zu verwenden scale_pos_weight, bin mir aber nicht sicher, wie ich es tunen soll. Ich kann sehen, dass RegLossObj.GetGradient: if (info.labels[i] == 1.0f) w *= param_.scale_pos_weight Ein Gradient einer positiven Probe wäre also einflussreicher. Dem xgboost-Artikel zufolge wird …

26 unbalanced-classes xgboost

4

Welches Problem lösen Oversampling, Undersampling und SMOTE?

In einer kürzlich gut erhaltenen Frage fragt Tim, wann unausgeglichene Daten wirklich ein Problem beim maschinellen Lernen sind . Die Prämisse der Frage ist, dass es eine Menge Literatur zum maschinellen Lernen gibt, die sich mit dem Klassengleichgewicht und dem Problem unausgeglichener Klassen befasst . Die Idee ist, dass Datensätze …

24 machine-learning classification predictive-models unbalanced-classes

2

Wie gehe ich mit dem Unterschied zwischen der Verteilung des Testsatzes und des Trainingssatzes um?

Ich denke, eine Grundannahme des maschinellen Lernens oder der Parameterschätzung ist, dass die unsichtbaren Daten aus derselben Verteilung stammen wie der Trainingssatz. In einigen praktischen Fällen wird sich die Verteilung des Testsatzes jedoch fast von der des Trainingssatzes unterscheiden. Sagen wir für ein umfangreiches Multiklassifizierungsproblem, bei dem versucht wird, Produktbeschreibungen …

23 machine-learning classification skewness unbalanced-classes multi-class

3

Klassifizierungs- / Bewertungsmetriken für stark unausgeglichene Daten

Ich beschäftige mich mit einem (kreditbewertungsähnlichen) Problem der Betrugserkennung. Insofern besteht ein sehr unausgewogenes Verhältnis zwischen betrügerischen und nicht betrügerischen Beobachtungen. http://blog.revolutionanalytics.com/2016/03/com_class_eval_metrics_r.html bietet einen hervorragenden Überblick über verschiedene Klassifizierungsmetriken. Precision and Recalloder kappabeide scheinen eine gute Wahl zu sein: Eine Möglichkeit, die Ergebnisse solcher Klassifikatoren zu rechtfertigen, besteht darin, sie …

22 classification unbalanced-classes precision-recall cohens-kappa model-evaluation

5

Stichprobe für unausgeglichene Daten in der Regression

Es gab gute Fragen zum Umgang mit unausgeglichenen Daten im Klassifizierungskontext , aber ich frage mich, was die Leute tun, um eine Stichprobe für eine Regression zu erstellen. Angenommen, die Problemdomäne reagiert sehr empfindlich auf das Vorzeichen, aber nur etwas empfindlich auf die Größe des Ziels. Die Größe ist jedoch …

22 regression sampling unbalanced-classes

Als «unbalanced-classes» getaggte Fragen