Warum verwenden Forscher die 10-fache Kreuzvalidierung, anstatt einen Validierungssatz zu testen?

Ich habe viele Forschungsarbeiten über Stimmungsklassifikation und verwandte Themen gelesen.

Die meisten von ihnen verwenden eine 10-fache Kreuzvalidierung, um Klassifikatoren zu trainieren und zu testen. Das bedeutet, dass keine separaten Tests / Validierungen durchgeführt werden. Warum das?

Was sind die Vor- und Nachteile dieses Ansatzes, insbesondere für Forscher?

Dies ist kein Problem, wenn der Lebenslauf verschachtelt ist , dh alle Optimierungen, Featureauswahlen und Modellauswahlen, unabhängig davon, ob sie selbst den Lebenslauf verwenden oder nicht, werden in einem großen Lebenslauf zusammengefasst.

Wie verhält es sich mit einem zusätzlichen Validierungssatz? Während der Validierungssatz normalerweise nur ein mehr oder weniger zufällig ausgewählter Teil der gesamten Daten ist, entspricht er einfach einer Iteration des Lebenslaufs. Zu diesem Zweck ist es tatsächlich eine schlechtere Methode, da sie leicht durch (hoffentlich) glücklicherweise / unglücklicherweise ausgewählte oder von Kirschen gepflückte Validierungssätze verzerrt werden kann.

Die einzige Ausnahme bilden Zeitreihen und andere Daten, bei denen die Objektreihenfolge eine Rolle spielt. Sie bedürfen jedoch einer besonderen Behandlung.

Der Hauptgrund ist, dass der k-fache Kreuzvalidierungsschätzer eine geringere Varianz aufweist als ein einzelner Hold-Out-Set-Schätzer. Dies kann sehr wichtig sein, wenn die Menge der verfügbaren Daten begrenzt ist. Wenn Sie einen einzelnen Hold-Out-Satz haben, bei dem 90% der Daten für das Training und 10% für das Testen verwendet werden, ist der Testsatz sehr klein, sodass die Leistungsschätzung für verschiedene Datenproben sehr unterschiedlich ausfällt. oder für verschiedene Partitionen der Daten, um Trainings- und Testsätze zu bilden. Durch die k-fache Validierung wird diese Varianz durch Mitteln über k verschiedene Partitionen reduziert, sodass die Leistungsschätzung weniger empfindlich auf die Partitionierung der Daten reagiert. Sie können durch wiederholte k-fache Kreuzvalidierung noch weiter gehen, wobei die Kreuzvalidierung unter Verwendung verschiedener Partitionierungen der Daten durchgeführt wird, um k Teilmengen zu bilden.

Es ist jedoch zu beachten, dass alle Schritte des Modellanpassungsverfahrens (Modellauswahl, Merkmalsauswahl usw.) unabhängig voneinander in jeder Falte des Kreuzvalidierungsverfahrens ausgeführt werden müssen, da sonst die resultierende Leistungsschätzung optimistisch verzerrt wird.

[BEARBEITET im Lichte des Kommentars]

Ich denke, es gibt ein Problem, wenn Sie CV-Ergebnisse verwenden, um zwischen mehreren Modellen zu wählen.

Mit CV können Sie den gesamten Datensatz verwenden, um ein Modell / eine Methode zu trainieren und zu testen, und gleichzeitig eine vernünftige Vorstellung davon haben, wie gut sich das verallgemeinern lässt. Wenn Sie jedoch mehrere Modelle vergleichen, ist mein Instinkt, dass der Modellvergleich die zusätzliche Isolationsstufe für die Zugversuche in Anspruch nimmt, die Ihnen der Lebenslauf bietet, sodass das Endergebnis keine vernünftige Schätzung der Genauigkeit des ausgewählten Modells darstellt.

Wenn Sie also mehrere Modelle erstellen und eines anhand des Lebenslaufs auswählen, sind Sie zu optimistisch in Bezug auf das, was Sie gefunden haben. Ein weiterer Validierungssatz wäre erforderlich, um zu sehen, wie gut der Gewinner generalisiert.

• Nach meiner Erfahrung liegt der Hauptgrund normalerweise darin, dass Sie nicht genügend Proben haben.
  In meinem Bereich (Klassifizierung von biologischen / medizinischen Proben) wird manchmal ein Test-Set getrennt gehalten, aber oft umfasst es nur wenige Fälle. In diesem Fall sind die Konfidenzintervalle normalerweise zu groß, um von Nutzen zu sein.

• Ein weiterer Vorteil der wiederholten / iterierten Kreuzvalidierung oder der Validierung außerhalb des Bootstraps besteht darin, dass Sie eine Reihe von "Ersatzmodellen" erstellen. Diese werden als gleich angenommen. Ist dies nicht der Fall, sind die Modi instabil. Sie können diese Instabilität tatsächlich messen (in Bezug auf den Austausch einiger Trainingsfälle), indem Sie entweder die Ersatzmodelle selbst oder die Vorhersagen vergleichen, die verschiedene Ersatzmodelle für denselben Fall treffen.

• Dieses Papier von Esbensen & Geladi einige Einschränkungen der Kreuzvalidierung erörtert.
  Sie können sich um die meisten kümmern, aber ein wichtiger Punkt, der durch die Validierung des Resamplings nicht angegangen werden kann, ist die Drift, die mit dem Punkt von mbq zusammenhängt:

  Die einzige Ausnahme bilden Zeitreihen und andere Daten, bei denen es auf die Objektreihenfolge ankommt

  Drift bedeutet, dass sich z. B. das Ansprechverhalten / die tatsächliche Kalibrierung eines Instruments mit der Zeit langsam ändert. Daher ist der Generalisierungsfehler für unbekannte Fälle möglicherweise nicht der gleiche wie für unbekannte zukünftige Fälle. Sie gelangen zu Anweisungen wie "Kalibrierung täglich / wöchentlich wiederholen / ...", wenn Sie während der Validierung eine Abweichung feststellen, die jedoch Testsätze erfordert, die systematisch später als die Trainingsdaten erfasst werden.
  (Sie können "spezielle" Aufteilungen durchführen, die die Erfassungszeit berücksichtigen, wenn Ihr Experiment korrekt geplant ist. In der Regel wird jedoch nicht so viel Zeit benötigt, wie Sie für die Drifterkennung testen möchten.)