Kreuzvalidierung und Parameteroptimierung

Ich habe eine Frage zur Parameteroptimierung, wenn ich die 10-fache Kreuzvalidierung verwende.

Ich möchte fragen, ob die Parameter während des Modelltrainings jeder Falte festgelegt werden sollen oder nicht, dh (1) einen Satz optimierter Parameter für die durchschnittliche Genauigkeit jeder Falte auswählen.

oder

(2) Ich sollte den optimierten Parameter für jede Falte finden und dann verwendet jede Falte unterschiedliche optimierte Parameter, um ihr Modell zu trainieren, dann die Testdaten der Falte zu testen und schließlich die Genauigkeit jeder Falte als Ergebnis zu mitteln.

Welches ist die richtige Methode zur Kreuzvalidierung? Danke vielmals.

Unterscheiden wir zunächst zwischen zwei Parametersätzen: Modellparametern (z. B. Gewichten für Merkmale in der Regression) und Parametern für den Lernalgorithmus (und Hyperparametern). Der Zweck der Kreuzvalidierung besteht darin, Lernparameter zu identifizieren, die sich gut auf die Bevölkerungsstichproben verallgemeinern lassen, aus denen wir in jeder Falte lernen.

Genauer gesagt: Wir suchen global über den Raum nach Lernparametern, aber innerhalb jeder Falte legen wir Lernparameter fest und lernen Modellparameter. Das Ergebnis sollten Lernparameter sein, die im Durchschnitt die beste Leistung in allen Falten erzielen. Wir können diese dann verwenden, um ein Modell für den gesamten Datensatz zu trainieren.

Ich denke, die derzeit akzeptierte Antwort ist auf unglückliche Weise unvollständig. Ich stimme dem Satz nicht zu

Der Zweck der Kreuzvalidierung besteht darin, Lernparameter zu identifizieren, die sich gut auf die Bevölkerungsstichproben verallgemeinern lassen, aus denen wir in jeder Falte lernen.

Dies ist in der Tat eine sehr wichtige Anwendung der Kreuzvalidierung, aber nicht die einzige. Normalerweise möchten Sie zwei Dinge tun:

1. Bauen Sie das beste Modell, das Sie können
2. Verschaffen Sie sich einen genauen Eindruck von der Leistung

Um Ziel 1 in Abhängigkeit von Ihrem Algorithmus zu erreichen, müssen Sie möglicherweise einige Hyperparameter anpassen. Dies erfolgt in der Tat häufig durch Kreuzvalidierung. Dies hilft Ihnen jedoch noch nicht bei Ziel 2. Dazu müssen Sie die Kreuzvalidierung grundsätzlich wie folgt verschachteln:

• Trennen Sie die gesamten Daten in n Falten
• Für jede Falte trennen Sie die Trainingsdaten erneut in Unterfalten
• Verwenden Sie die Kreuzvalidierung für die Unterfalten, um gute Hyperparameter zu lernen
• Mit diesen Hyperparametern bauen Sie ein Modell auf den Trainingsdaten dieser Falte auf
• Testen Sie das Modell anhand der Testdaten
• Wiederholen Sie dies bei der nächsten Falte

Um ein gutes Modell zu erstellen, benötigen Sie nur die innere Kreuzvalidierung. Sie müssen dies noch tun, um ein gutes Modell zu erhalten. Um jedoch eine gute Schätzung Ihrer Modellleistung zu erhalten, müssen Sie den gesamten Prozess der Modellbildung in einem Kreuzvalidierungsschema durchführen. Dies schließt auch Schritte wie Imputation usw. ein.