Soll ich meine Daten neu mischen?

Wir haben eine Reihe von biologischen Proben, deren Beschaffung ziemlich teuer war. Wir haben diese Beispiele einer Reihe von Tests unterzogen, um Daten zu generieren, die zum Erstellen eines Vorhersagemodells verwendet werden. Zu diesem Zweck haben wir die Stichproben in Trainings- (70%) und Testsätze (30%) unterteilt. Wir haben erfolgreich ein Modell erstellt und es auf das Test-Set angewendet, um festzustellen, dass die Leistung "nicht optimal" war. Die Experimentatoren wollen nun die biologischen Tests verbessern, um ein besseres Modell zu erstellen. Sofern wir keine neuen Proben erhalten können, empfehlen Sie uns, die Proben neu zu mischen, um neue Trainings- und Validierungssätze zu erstellen oder bei der ursprünglichen Abteilung zu bleiben. (Wir haben keinen Hinweis darauf, dass die Aufteilung problematisch war).

Da Sie bereits ein Holdout-Beispiel verwenden, sollten Sie es behalten und Ihre neuen Modelle auf demselben Trainingsbeispiel aufbauen, damit alle Modelle die gleichen Beziehungen zwischen den Funktionen berücksichtigen. Wenn Sie eine Feature-Auswahl durchführen, müssen die Samples außerdem vor einer dieser Filterstufen weggelassen werden. Das heißt, die Merkmalsauswahl muss in die Kreuzvalidierungsschleife aufgenommen werden.

Bemerkenswerterweise gibt es leistungsfähigere Methoden als eine Aufteilung von 0,67 / 0,33 für die Modellauswahl, nämlich eine k-fache Kreuzvalidierung oder ein Auslassen. Siehe z . B. Die Elemente des statistischen Lernens (§7.10, S. 241-248), www.modelselection.org oder Eine Übersicht über Kreuzvalidierungsverfahren für die Modellauswahl von Arlot und Celisse (fortgeschrittener mathematischer Hintergrund erforderlich).