Würde es ein Modellauswahlproblem geben, wenn wir Zugriff auf ein Orakel hätten, das uns den genauen Generalisierungsfehler gegeben hätte?

Sei eine Funktion, die bei gegebener Hypothese den Generalisierungsfehler für dieses feste zurückgibt .$\mathcal{E(h)}$$h$$h$

Ich habe einige Anmerkungen zur Modellauswahl und zum Generalisierungsfehler gelesen und darin stand:

"Wenn wir Zugriff auf , gäbe es auch kein Problem bei der Modellauswahl. Wir würden einfach die großen auswählen , um einen Klassifikator zu finden, der den Fehler minimiert."$\mathcal{E(h)}$$\mathcal{H}$

Ich war mir nicht sicher, ob ich diese Aussage vollständig schätzte oder verstand oder tatsächlich mit der Aussage einverstanden war. Der Grund ist, dass es immer noch problematisch wäre, das Modell zu finden , selbst wenn wir Zugriff auf (was meiner Meinung nach ein Orakel bedeutet, das braucht und nur seinen wahren Generalisierungsfehler sagt) hat die Hypothese, die gut verallgemeinert. Der Grund ist, sagen wir, dass die Modellklassen unendlich sind (dh es gibt eine unendliche Menge von Modellen zur Auswahl). Wir wissen nicht wirklich, wann sein Minimum erreicht hat, es sei denn, wir prüfen für jedes$\mathcal{E(h)}$$h$$\mathcal{H}$$\mathcal{E(h)}$$\mathcal{H}$das lässt sich machen. Das heißt, selbst wenn wir so etwas hätten, glaube ich nicht, dass das Problem so leicht beseitigt werden kann, denn wie können wir jemals sicher sein, dass wir wirklich das beste (in Polynomzeit)? Grundsätzlich geht die Frage davon aus, dass wir ein Orakel haben, um festzustellen, wann die Verallgemeinerung ebenfalls minimal ist. Darüber hinaus ist, wie ich bereits erwähnt habe, der vorgeschlagene Algorithmus / die vorgeschlagene Drehmaschine entscheidbar und nicht in P (dh er könnte für immer laufen ...).$\mathcal{H}$

Das Hauptproblem / der Hauptzweifel, den ich bei dieser Frage habe, ist, dass ich selbst bei einem solchen Oracle nicht davon überzeugt bin, dass die Modellauswahl trivialisiert wurde. Eine Antwort, die versucht, dieses spezielle Problem anzugehen, hat höhere Chancen, meine Frage besser anzugehen.

Grundsätzlich geht die Frage davon aus, dass wir ein Orakel haben, um festzustellen, wann die Verallgemeinerung ebenfalls minimal ist.

Das zu haben wäre natürlich großartig. Ein Orakel zu haben, das uns das beste Modell gibt, wäre noch besser. Sie scheinen jedoch die Funktion des Orakels falsch zu interpretieren.

$\mathcal{E}(h)$$\hat{\mathcal{E}}(h)$

Da wir ein Modell basierend auf seiner geschätzten Generalisierungsleistung auswählen müssen, haben wir keine Garantie für die Auswahl des richtigen Modells . Dies macht die Modellauswahl schwierig (und etwas willkürlich). Wenn wir Zugriff auf die tatsächliche Generalisierungsleistung hätten, wäre die Modellauswahl trivial.

$\mathcal{H}$

Dies ist eine schöne theoretische Frage, die jedoch etwas tangential zum praktischen Problem ist, da man normalerweise das beste Modell innerhalb einer endlichen Reihe von Optionen auswählen möchte.

Sie haben Recht, dass eine wirklich unendliche Menge von Modellen ein unentscheidbares Problem ergeben würde, ohne weitere Annahmen zu treffen. In der Praxis sind jedoch einige weitere Annahmen sinnvoll.

$\mathcal{E}(h)$