Überanpassungsfrage

Würden Sie diese Überanpassung in Betracht ziehen?

overfitting

Antworten:

Nein, es ist kein Beispiel für Überanpassung! Es wäre überpassend, wenn der gültige Verlust zunehmen würde, während der Trainingsverlust abnehmen würde.

Bearbeiten: die Antwort auf die zweite Frage Es lohnt sich zu überlegen, wie auc berechnet wird. Wir haben die Wahrscheinlichkeiten jeder Instanz, zur positiven Klasse zu gehören. Dann sortieren wir diese Wahrscheinlichkeiten. Wenn alle positiven Instanzen im ersten Teil der sortierten Liste erscheinen und alle negativen im zweiten Teil, dann ist auc 1 (die "perfekte Leistung" gemäß auc Beobachtung).

$loss = -1/N * \sum{y_i * log(p(y_i)) + (1 - y_i)*log(1 - p(y_i))}$ $y_i$ $p(y_i)$ $y_i$

Deshalb müssen wir wohl den Verlust bewerten.

— Lana
quelle

Vielen Dank, Lana, obwohl der Unterschied im Verlust zwischen Training und Validierung nicht auf eine Überanpassung hinweist.

— Nickolas Papanikolaou

@NickolasPapanikolaou Es ist normal, wenn der Verlust je nach Trainings- und Validierungssatz unterschiedlich ist, da das Modell mit den Daten vertraut wird, die es bereits im Trainingssatz gesehen hat (dies ist der Grund, warum normalerweise eine Aufteilung in Test, Validierung und Zug durchgeführt wird). Die Modellleistung der Testdaten zeigt jedoch, dass dieses Modell weiterhin einige nützliche Informationen extrahiert. Daher läuft der Lernprozess ab, ist jedoch langsamer als zuvor.

— Lana

Nein, das ist nicht überpassend.

Erstens ist die AUC zwischen Zug- und Validierungssätzen genau gleich. Die Verluste können eine Lücke aufweisen, aber da der Validierungsverlust immer noch sinkt (auch wenn er langsam ist), sind Sie in Ordnung.

— Javier
quelle

Was ist mit diesem? In diesem Fall steigt der Validierungsverlust, aber die AUC folgt nicht dem gleichen Muster. Welches ist der Verlust oder die Leistung?

— Nickolas Papanikolaou
quelle

Vergessen, die AUC auf dem Holdout-Test-Set zu erwähnen, ist 0,928

— Nickolas Papanikolaou

Welchen Verlust hast du? Was ist die Verteilung der Klassen in Zug- und Testsätzen?

— Lana

Ich habe diese Frage beantwortet und meine erste Antwort bearbeitet. In diesem Fall gibt es Überanpassung und Verlustleistung sollte bewertet werden

— Lana

Ihre neue Frage und meine Ausgaben sind also das Argument gegen die Annahme von Javier: "Erstens ist die AUC zwischen Zug- und Validierungssätzen genau gleich." Es konnte nicht der Hauptgrund sein

— Lana

Alle drei Sätze (Zug, Validierung, Test) sind vollständig ausgeglichen, ich habe binary_crossentropy verwendet. Ich glaube, das Problem hängt mit der AUC zusammen, denn wenn ich die Genauigkeit verwende, weichen die Kurven ab (Anzeichen einer Überanpassung), vielen Dank für Ihre Antworten

— Nickolas Papanikolaou