Wie wähle ich die Trainings-, Kreuzvalidierungs- und Testsatzgrößen für kleine Daten mit Stichprobengröße aus?

10

Angenommen, ich habe eine kleine Stichprobengröße, z. B. N = 100, und zwei Klassen. Wie soll ich die Trainings-, Kreuzvalidierungs- und Testsatzgrößen für maschinelles Lernen auswählen?

Ich würde intuitiv auswählen

Trainingsset Größe als 50
Kreuzvalidierungssatz Größe 25 und
Testgröße als 25.

Aber wahrscheinlich macht das mehr oder weniger Sinn. Wie soll ich diese Werte wirklich bestimmen? Darf ich verschiedene Optionen ausprobieren (obwohl ich denke, dass dies nicht so vorzuziehen ist ... erhöhte Wahrscheinlichkeit des Überlernens)?

Was wäre, wenn ich mehr als zwei Klassen hätte?

— Europäische Sommerzeit
quelle

2

100 ist zu klein für mich. Ich würde mich für eine Auslassungsstrategie sowohl für die Kreuzvalidierung als auch für die Testbewertung entscheiden.

— Memming

Ich habe keine Literatur dazu gesehen (Mindeststichprobengröße zur Validierung). Nicht sicher warum. Scheint ein wichtiges Thema zu sein.

— Charles

15

Sie haben sicherlich die sehr ähnliche Frage gefunden: Wahl von K bei der K-fachen Kreuzvalidierung ?
(Einschließlich des Links zu Ron Kohavis Arbeit)
Wenn Ihre Stichprobengröße bereits klein ist, empfehle ich, datengesteuerte Optimierungen zu vermeiden. Beschränken Sie sich stattdessen auf Modelle, bei denen Sie Hyperparameter durch Ihr Wissen über Modell und Anwendung / Daten korrigieren können. Dies macht eine der Validierungs- / Teststufen unnötig und lässt mehr Ihrer wenigen Fälle für das Training der Ersatzmodelle in der verbleibenden Kreuzvalidierung übrig.
IMHO, Sie können sich sowieso keine sehr ausgefallenen Modelle mit dieser Stichprobengröße leisten. Und mit ziemlicher Sicherheit können Sie es sich nicht leisten, aussagekräftige Modellvergleiche durchzuführen (ganz sicher nicht, wenn Sie nicht die richtigen Bewertungsregeln und gepaarten Analysetechniken verwenden).
Diese Entscheidung ist weitaus wichtiger als die genaue Wahl von $k$ (z. B. 5-fach vs. 10-fach) - mit der wichtigen Ausnahme, dass das Auslassen im Allgemeinen nicht empfohlen wird.
Interessanterweise ist bei diesen sehr kleinen Klassifizierungsproblemen mit Stichprobengröße die Validierung (im Hinblick auf die Anforderungen an die Stichprobengröße) oft schwieriger als das Training eines anständigen Modells. Wenn Sie dazu Literatur benötigen
, lesen
Sie z. B. unser Papier zur Stichprobengrößenplanung: Beleites, C. und Neugebauer, U. und Bocklitz, T. und Krafft, C. und Popp, J.: Stichprobengrößenplanung für Klassifizierungsmodelle. Anal Chim Acta, 2013, 760, 25 & ndash; 33. DOI: 10.1016 / j.aca.2012.11.007
akzeptiertes Manuskript auf arXiv: 1211.1323
Ein weiterer wichtiger Punkt ist, die Möglichkeit zu nutzen, die Kreuzvalidierung zu wiederholen / zu wiederholen (was einer der Gründe gegen LOO ist): Auf diese Weise können Sie die Stabilität der Vorhersagen gegen Störungen (dh wenige verschiedene Fälle) des Trainings messen Daten.

Literatur:
- Beleites, C. & Salzer, R.: Bewertung und Verbesserung der Stabilität chemometrischer Modelle in Situationen kleiner Probengröße Anal Bioanal Chem, 2008, 390, 1261-1271.
  DOI: 10.1007 / s00216-007-1818-6
- Dixon, SJ; Heinrich, N.; Holmboe, M.; Schaefer, ML; Reed, RR; Trevejo, J. & Brereton, RG: Anwendung von Klassifizierungsmethoden bei ungleichen Gruppengrößen durch Einbeziehung früherer Wahrscheinlichkeiten auf drei gängige Ansätze: Anwendung auf Simulationen und Chemosignale im Urin von Mäusen, Chemom Intell Lab Syst, 2009, 99, 111-120.
  DOI: 10.1016 / j.chemolab.2009.07.016
Wenn Sie sich für einen einzelnen Lauf in einem Hold-Out-Test-Set entscheiden (keine Iterationen / Wiederholungen),
- Beachten Sie, dass die meisten Fehler, die Sie bei der Kreuzvalidierung machen können (was zu einer optimistischen Tendenz führt), auch bei einem Hold-out-Testsatz auftreten können.
- Überprüfen Sie die Breite des resultierenden Konfidenzintervalls für die Leistungsmessung und stellen Sie sicher, dass dies eine aussagekräftige Interpretation der Ergebnisse ermöglicht (siehe Planungspapier zur Stichprobengröße).

— cbeleites unzufrieden mit SX
quelle

+1 nur für die Beratung zur Parameteroptimierung und Modellkomplexität. Aber all diese Ratschläge sind fantastisch.

— Charles

1

Angesichts der geringen Stichprobengröße empfiehlt es sich, den Abschnitt zur Kreuzvalidierung wegzulassen und ein Verhältnis von 60 - 40 oder 70 - 30 zu verwenden.

Wie Sie in Abschnitt 2.8 der Einführung in Clementine und Data Mining sowie in MSDN Library - Data Mining - Trainings- und Testsätze sehen können ein Verhältnis von 70 bis 30 üblich. Laut Andrew Ngs Vorlesungen über maschinelles Lernen wird ein Verhältnis von 60 - 20 - 20 empfohlen.

Hoffe ich war hilfreich. Freundliche Grüße.

— mrdatamx
quelle