Ich habe gelernt, dass eine Überanpassung erkannt werden kann, indem der Trainingsfehler und der Testfehler gegen die Epochen aufgetragen werden. Wie in:
Ich habe diesen Blogpost gelesen, in dem sie sagen, dass das neuronale Netzwerk net5 überpasst und sie diese Zahl liefern:
Was für mich seltsam ist, da der Validierungs- und Trainingsfehler von net5 immer wieder abnimmt (aber langsam).
Warum würden sie behaupten, es sei zu passend? Liegt es daran, dass der Validierungsfehler stagniert?
Antworten:
Überanpassung tritt nicht nur auf, wenn der Testfehler mit den Iterationen zunimmt. Wir sagen, dass es zu einer Überanpassung kommt, wenn die Leistung am Testsatz viel geringer ist als die Leistung am Zugsatz (weil das Modell zu gut zu den sichtbaren Daten passt und nicht gut verallgemeinert wird).
In Ihrem zweiten Diagramm können wir sehen, dass die Leistungen an Testsätzen fast zehnmal niedriger sind als die Leistungen an Zugsätzen, was als Überanpassung angesehen werden kann.
Es ist fast immer so, dass ein Modell auf dem Trainingssatz eine bessere Leistung erbringt als auf dem Testsatz, da das Modell die Daten bereits gesehen hat. Ein gutes Modell sollte jedoch in der Lage sein, unsichtbare Daten gut zu verallgemeinern und dann die Lücke zwischen den Leistungen in Zug- und Testsätzen zu verringern.
Ihr erstes Beispiel für eine Überanpassung kann beispielsweise durch frühzeitiges Anhalten gelöst werden. Ihr zweites Beispiel kann durch Regularisierung, durch Verfälschung der Eingabe usw. gelöst werden.