Gibt es eine bekannte Bayes'sche, ML- oder MDL-Interpretation der Kreuzvalidierung? Kann ich die Kreuzvalidierung so interpretieren, dass das richtige Update für einen speziell erstellten Prior durchgeführt wird?
Gibt es eine bekannte Bayes'sche, ML- oder MDL-Interpretation der Kreuzvalidierung? Kann ich die Kreuzvalidierung so interpretieren, dass das richtige Update für einen speziell erstellten Prior durchgeführt wird?
Antworten:
Die Kreuzvalidierung zielt auf eine unvoreingenommene Abschätzung des Risikos ab (auch bekannt als Testfehler oder Vorhersagefehler). Wenn Ihre Verlustfunktion minus der (generativen) Protokollwahrscheinlichkeit ist, gibt die Kreuzvalidierung die erwartete Protokollwahrscheinlichkeit Ihres Modells zurück. Gleiches gilt, wenn Ihre Verlustfunktion eine Bayes'sche Motivation hat.
MDL zielt auch auf eine unvoreingenommene Einschätzung des Risikos ab. Es ist somit ein analytischer Ansatz für das, was CV rechnerisch macht.
Siehe Abschnitt 7.2 in Elemente des statistischen Lernens .