Berechnen Sie mit der k-fachen Kreuzvalidierung den Durchschnitt aller Modelle, um das endgültige Modell zu erstellen?

Wenn Sie eine Kreuzvalidierung mit k-fach durchführen, erhalten Sie die Genauigkeitsmetrik, indem Sie auf alle Falten mit Ausnahme einer auf diese eine Falte zeigen, Vorhersagen treffen und diesen Vorgang mal wiederholen . Sie können dann Genauigkeitsmetriken für alle Ihre Instanzen ausführen (Genauigkeit, Rückruf,% richtig klassifiziert), die gleich sein sollten, als ob Sie sie jedes Mal berechnet und dann den Durchschnitt des Ergebnisses gebildet hätten (korrigieren Sie mich, wenn ich falsch liege).$k$

Das gewünschte Endergebnis ist ein endgültiges Modell.

Berechnen Sie den Durchschnitt der erhaltenen Modelle, um Ihre Vorhersagen zu treffen, und erhalten Sie das Modell, das die Genauigkeitsmetriken aufweist, die mit der obigen Methode erhalten wurden?$k$

Das Ziel der fachen Kreuzvalidierung besteht nicht darin, ein Modell zu erstellen. es geht um den Vergleich von Modellen.$k$

Aus den Ergebnissen eines Kreuzvalidierungsexperiments könnte hervorgehen, dass Support Vector Machines Naive Bayes für Ihre Daten übertrifft oder dass die Hyperparameter des Klassifikators für diesen bestimmten Datensatz auf c festgelegt werden sollten. Mit diesem Wissen trainieren Sie dann einen "Produktions" -Klassifikator mit ALLEN verfügbaren Daten und wenden ihn auf Ihr Problem an.

In vielen Fällen ist nicht einmal klar, wie Sie den Durchschnitt mehrerer Modelle berechnen würden. Was ist zum Beispiel der Durchschnitt von drei Entscheidungsbäumen oder Klassifikatoren für den nächsten Nachbarn?

Es ist wichtig zu berücksichtigen, dass es sich bei den Ergebnissen der Kreuzvalidierung nicht um Garantien, sondern um Schätzungen handelt. Diese Schätzungen sind aussagekräftiger, wenn der Produktionsklassifizierer mit einer ähnlichen Datenqualität (und -menge) geschult ist. Es wurde viel Arbeit geleistet, um Methoden zu entwickeln, mit denen diese Schätzungen zur Durchführung von Inferenzen verwendet werden können. das heißt statistisch gesehen, dass Methode A Methode B in diesen Daten im Allgemeinen überlegen ist.