Was führt dazu, dass ein Klassifikator Daten falsch klassifiziert? [geschlossen]

Könnte es von den Daten selbst sein? Oder liegt es daran, dass das Modell die Ähnlichkeiten zwischen Daten nicht effizient erkennen kann, oder gibt es andere Gründe für eine Fehlklassifizierung?

Nehmen wir an, Sie sprechen von einer Fehlklassifizierung der Trainingsdaten, dh es ist schwierig, den Verlust des Trainingsdatensatzes zu minimieren, ohne dass ein Problem mit der Überanpassung der Testdaten auftritt.

Sie haben Recht, dass in den meisten Fällen die Fehlklassifizierung von "Modell ist zu einfach" oder "Daten sind zu verrauscht" herrühren kann. Ich möchte zwei Beispiele zur weiteren Veranschaulichung geben.

1. Das Modell ist "zu einfach", um die "Muster in Daten" zu erfassen.

   • Das Beispiel ist in der linken Abbildung dargestellt. Angenommen, wir möchten eine logistische Regression / eine Linie verwenden, um zwei Klassen zu trennen, aber die beiden Klassen sind nicht linear trennbar.

   • In diesem Fall gibt es immer noch "bemerkenswerte Muster in den Daten", und wenn wir das Modell ändern, werden wir möglicherweise besser. Wenn wir beispielsweise anstelle der logistischen Regression den KNN-Klassifikator verwenden, können wir eine sehr gute Leistung erzielen.

2. Die Daten haben zu viel Rauschen, so dass es sehr schwierig ist, die Klassifizierungsaufgabe auszuführen.

   • Das Beispiel ist in der rechten Abbildung dargestellt. Wenn Sie den Code überprüfen, sehen Sie, dass zwei Klassen sehr ähnlich sind (zwei Klassen sind 2D-Gauß, der Mittelwert liegt bei , die Standardabweichung für jede Klasse beträgt 1,0 ). . Es ist im Wesentlichen eine sehr herausfordernde Aufgabe.$0.01\times 2$$1.0$

Beachten Sie, dass die beiden Beispiele trivial sind, da wir die Daten und den Klassifikator visualisieren können. In der realen Welt ist dies nicht der Fall, wenn wir Millionen von Datenpunkten und superkomplizierte Klassifikatoren haben.

Code:

library(mlbench)
set.seed(0)
par(mfrow=c(1,2))
d=mlbench.spirals(500)
plot(d)
lg_fit=glm(d$classes~d$x[,1]+d$x[,2]-1,family=binomial())
abline(0,-lg_fit$coefficients[1]/lg_fit$coefficients[2])

d2=mlbench.2dnormals(500,r=0.01)
plot(d2)

Zusätzlich zu @ hxd1011 (+1).

1. Klassenungleichgewicht in relativen oder absoluten Zahlen. In beiden Fällen bauen wir eine unzureichende Darstellung der Interessenklasse auf. Normalerweise ist das spätere schwieriger zu überwinden. (Beispielreferenz: Lernen aus unausgeglichenen Daten von He und Garcia)
2. Falsche Klassifizierungskriterien. Wir trainieren unseren Klassifikator mit einer unangemessenen Bewertungsfunktion und / oder verwenden unangemessene Kriterien, um unsere endgültige Lösung abzuleiten. Sehr häufiges Problem bei der Verwendung von "Dosenlösungen". (Beispielreferenz: Schäden, die durch die Genauigkeit der Klassifizierung und andere diskontinuierliche Regeln für die Bewertung der falschen Genauigkeit von Harrell verursacht wurden)
3. In Wirklichkeit gibt es keine Klasse. Wir wünschen uns, dass da etwas ist, aber wirklich gibt es nichts. Normalerweise lenkt Domain-Know-how die Leute davon ab, aber als Neuling ist dies immer ein Problem. (Beispielreferenz: Unser tägliches Leben. Publikationsbias ist wahrscheinlich auch hier ein Thema ...)
4. Überanpassung. Wir haben ein anständiges Modell und einen anständigen Datensatz, aber wir trainieren nicht angemessen, um ein unrealistisches Modell aufzubauen. Normalerweise bezieht sich dies auf Punkt 2. (Extrapunkte für Unteranpassung!) (Beispielreferenz: Das Problem der Überanpassung durch Hawkings)
5. Konzeptdrift. Die Dinge ändern sich und wir trainieren nicht um. Unser Klassifikator hat eine hervorragende Leistung in unserer Marketing-Stichprobe "Weihnachtsverkäufe" - ja, die Verwendung dieses Modells im Juli wird wahrscheinlich schmerzhaft sein ... (Beispielreferenz: Eine Umfrage zur Anpassung der Konzeptdrift von Gama et al.)
6. Datenverlust / Magic-Funktionen. Wir trainieren anhand von Informationen, die zum Zeitpunkt der Vorhersage nicht verfügbar sind. Häufig bei ereignis- / zeitreihenähnlichen Daten. (Beispielreferenz: Leckage im Data Mining: Formulierung, Erkennung und Vermeidung von Kaufman et al.)