Statistiken und Big Data unbalanced-classes

2

Hinzufügen von Gewichten zur logistischen Regression für unausgeglichene Daten

Ich möchte eine logistische Regression mit unausgeglichenen Daten modellieren (9: 1). Ich wollte die Gewichtsoption in der glmFunktion in R ausprobieren , bin mir aber nicht zu 100% sicher, was sie bewirkt. Nehmen wir an, meine Ausgabevariable ist c(0,0,0,0,0,0,0,0,0,1). jetzt möchte ich der "1" 10 mal mehr gewicht geben. Also …

21 regression logistic classification unbalanced-classes weighted-data

2

Die Reihenfolge der Variablen in ANOVA ist wichtig, nicht wahr?

Ist es richtig zu verstehen, dass die Reihenfolge, in der Variablen in einer multifaktoriellen ANOVA angegeben werden, einen Unterschied macht, aber dass die Reihenfolge bei einer multiplen linearen Regression keine Rolle spielt? Nehmen wir also ein Ergebnis wie den gemessenen Blutverlust y und zwei kategoriale Variablen an Adenoidektomie-Methode a , …

20 regression hypothesis-testing anova unbalanced-classes sums-of-squares

2

Testen der Klassifizierung von überabgetasteten Ungleichgewichtsdaten

Ich arbeite an stark unausgeglichenen Daten. In der Literatur werden verschiedene Methoden verwendet, um die Daten durch erneutes Abtasten (Über- oder Unterabtasten) neu abzugleichen. Zwei gute Ansätze sind: SMOTE: Synthetic Minority-Überabtastung ( SMOTE ) ADASYN: Adaptiver Ansatz zur synthetischen Probenahme für unausgewogenes Lernen ( ADASYN ) Ich habe ADASYN implementiert, …

18 classification dataset resampling unbalanced-classes oversampling

2

Leidet die GBM-Klassifizierung unter unausgewogenen Klassengrößen?

Ich habe es mit einem Problem der überwachten binären Klassifizierung zu tun. Ich möchte das GBM-Paket verwenden, um Personen als nicht infiziert / infiziert zu klassifizieren. Ich habe 15-mal mehr nicht infizierte als infizierte Personen. Ich habe mich gefragt, ob GBM-Modelle unter unausgeglichenen Klassengrößen leiden? Ich habe keine Referenzen gefunden, …

16 r machine-learning boosting unbalanced-classes gbm

3

ROC vs Precision-Recall-Kurven bei unausgeglichenem Datensatz

Ich habe gerade das Lesen dieses Diskussion . Sie argumentieren, dass PR AUC bei unausgeglichenen Datensätzen besser ist als ROC AUC. Zum Beispiel haben wir 10 Proben im Testdatensatz. 9 Proben sind positiv und 1 ist negativ. Wir haben ein schreckliches Modell, das alles Positive vorhersagt. Wir haben also eine …

16 machine-learning model-selection roc unbalanced-classes precision-recall

3

Vorschläge für kostensensitives Lernen in einem sehr unausgewogenen Umfeld

Ich habe einen Datensatz mit einigen Millionen Zeilen und ~ 100 Spalten. Ich möchte ungefähr 1% der Beispiele im Datensatz erkennen, die zu einer gemeinsamen Klasse gehören. Ich habe eine minimale Genauigkeitsbeschränkung, aber aufgrund der sehr asymmetrischen Kosten bin ich nicht besonders an einem bestimmten Rückruf interessiert (solange mir nicht …

15 machine-learning classification unbalanced-classes precision-recall

3

SVM für unausgeglichene Daten

Ich möchte versuchen, Support Vector Machines (SVMs) für mein Dataset zu verwenden. Bevor ich das Problem versuchte, wurde ich gewarnt, dass SVMs bei extrem unausgeglichenen Daten keine gute Leistung bringen. In meinem Fall kann ich bis zu 95-98% 0 und 2-5% 1 haben. Ich habe versucht, Ressourcen zu finden, bei …

15 svm libsvm unbalanced-classes

2

Unterstützt Support Vector Machine einen unausgeglichenen Datensatz?

Bewältigt SVM einen unausgeglichenen Datensatz? Sind das irgendwelche Parameter (wie C oder Fehlklassifizierungskosten), die mit dem unausgeglichenen Datensatz umgehen?

14 machine-learning svm unbalanced-classes

1

Ausgewogene Genauigkeit im Vergleich zum F-1-Score

Ich habe mich gefragt, ob irgendjemand den Unterschied zwischen ausgewogener Genauigkeit erklären kann b_acc = (sensitivity + specificity)/2 und f1 Punktzahl, die ist: f1 = 2*precision*recall/(precision + recall)

14 unbalanced-classes

1

Unterschreitet die Maximierung der Genauigkeit bei über- / unterabgetasteten unsymmetrischen Klassen die Minimierung der Fehlklassifizierungskosten?

Zunächst möchte ich einige gängige Layouts beschreiben, die in Data Mining-Büchern verwendet werden, um den Umgang mit unsymmetrischen Datasets zu erläutern . Normalerweise heißt der Hauptabschnitt Unbalanced Datasets und deckt diese beiden Unterabschnitte ab: Cost-Sensitive Classification und Sampling Techniques. Es scheint, dass Sie bei einem Problem mit einer seltenen Klasse …

14 machine-learning classification unbalanced-classes

1

Ist die Gradientenverstärkung für Daten mit niedrigen Ereignisraten wie 1% geeignet?

Ich versuche, den Gradienten für ein Dataset mit einer Ereignisrate von etwa 1% mithilfe von Enterprise Miner zu erhöhen, aber es wird keine Ausgabe erzeugt. Meine Frage ist, ob es sich um einen auf Entscheidungsbäumen basierenden Ansatz handelt, ob es überhaupt richtig ist, die Gradientenverstärkung bei einem so niedrigen Ereignis …

14 boosting unbalanced-classes rare-events gradient

2

Warum ist ein Cutoff von P> 0,5 für die logistische Regression nicht „optimal“?

VORWORT: Es interessiert mich nicht, ob ein Cutoff verwendet wird oder nicht oder wie man einen Cutoff auswählen sollte. Meine Frage ist rein mathematisch und aus Neugier. Die logistische Regression modelliert die hintere bedingte Wahrscheinlichkeit von Klasse A gegenüber Klasse B und passt zu einer Hyperebene, in der die hinteren …

13 logistic predictive-models unbalanced-classes

1

Wie kann die Anzahl der Fehlalarme verringert werden?

Ich versuche, eine Aufgabe zu lösen, die als Fußgängererkennung bezeichnet wird, und trainiere binäre Klassen in zwei Kategorien: Positive - Personen, Negative - Hintergrund. Ich habe Datensatz: Anzahl der Positiven = 3752 Anzahl der negativen = 3800 Ich benutze train \ test split 80 \ 20% und RandomForestClassifier form scikit-learn …

12 classification random-forest unbalanced-classes precision-recall computer-vision

1

Erstellen eines unausgeglichenen Datensatzes

Ich möchte mein trainiertes Modell an einem unausgeglichenen Datensatz testen lassen. Gibt es Algorithmen, um synthetische Daten aus einem ausgewogenen, beschrifteten Datensatz (Spam / Nicht-Spam) zu generieren?

11 unbalanced-classes synthetic-data

3

Welche Verlustfunktion sollte man verwenden, um einen binären Klassifikator mit hoher Präzision oder hohem Rückruf zu erhalten?

Ich versuche, einen Detektor für Objekte zu erstellen, die sehr selten vorkommen (in Bildern), und plane, einen binären CNN-Klassifikator zu verwenden, der in einem Schiebe- / Größenänderungsfenster angewendet wird. Ich habe ausgeglichene 1: 1-Positiv-Negativ-Trainings- und Testsätze erstellt (ist es in einem solchen Fall übrigens richtig?), Und der Klassifikator ist in …

11 logistic classification unbalanced-classes loss-functions

Als «unbalanced-classes» getaggte Fragen