Optimierung: Die Wurzel allen Übels in der Statistik?

Ich habe den folgenden Ausdruck schon einmal gehört:

"Optimierung ist die Wurzel allen Übels in der Statistik".

Die beste Antwort in diesem Thread gibt diese Aussage beispielsweise in Bezug auf die Gefahr einer zu aggressiven Optimierung bei der Modellauswahl wieder.

Meine erste Frage lautet wie folgt: Kann dieses Zitat jemand anderem zugeschrieben werden? (zB in der Statistikliteratur)

Soweit ich weiß, bezieht sich die Aussage auf die Risiken einer Überanpassung. Traditionelle Erkenntnisse besagen, dass eine korrekte Kreuzvalidierung bereits gegen dieses Problem vorgeht, aber es sieht so aus, als gäbe es bei diesem Problem noch mehr.

Sollten Statistiker und ML-Praktiker vorsichtig sein, ihre Modelle zu optimieren, selbst wenn sie strenge Kreuzvalidierungsprotokolle einhalten (z. B. 100 verschachtelte 10-fache CV)? Wenn ja, woher wissen wir, wann wir aufhören müssen, nach dem "besten" Modell zu suchen?

cross-validation optimization overfitting

— Amelio Vazquez-Reina
quelle

Die zweite Frage steht aber definitiv für sich, nicht wahr?

— Russellpierce

@ Glen_b Ich habe eine Referenz in diesem Thread hinterlassen. Aber nur zur Klarstellung hat Dikran bereits vorgeschlagen, Folgefragen zu seiner Antwort in separaten Threads zu eröffnen, und ich bezweifle, dass diese Frage in einem Kommentar angesprochen werden sollte.

— Amelio Vazquez-Reina

@ RussellS.Pierce Die Bearbeitung, die die aktuelle Frage enthielt - obwohl sie vor meinem Kommentar erstellt wurde -, war nicht vorhanden, als ich sie lud und anfing, die ursprüngliche Frage und mögliche Antworten zu recherchieren. Sie hatte nur das, was ich beschreiben würde als rhetorische Frage gibt. Die Frage, wie sie jetzt steht, ist in Ordnung.

— Glen_b

Das Problem der Kreuzvalidierung wird in einer anderen Frage hier behandelt: stats.stackexchange.com/questions/29354/… Die Kreuzvalidierung kann helfen, eine Überanpassung zu vermeiden, das Problem wird jedoch nicht vollständig gelöst. Zu wissen, wann aufzuhören ist, kann ein ausgesprochen heikles Problem sein, und ich glaube nicht, dass es eine allgemeine Lösung geben kann.

— Dikran Marsupial

"Eine korrekte Kreuzvalidierung kämpft bereits gegen dieses Problem, aber es sieht so aus, als gäbe es bei diesem Problem noch mehr." Ja, das Problem ist immer noch die Varianz der Kreuzvalidierungsschätzungen (in Kombination mit einem Problem mit mehreren Tests). Wenn ich die Zeit finde, schreibe ich eine Antwort auf Ihre entsprechende Frage.

— cbeleites unterstützt Monica

Antworten:

Das Zitat ist eine Umschreibung eines Donald Knuth-Zitats , das er Hoare selbst zuschrieb. Drei Auszüge aus der obigen Seite:

Vorzeitige Optimierung ist die Wurzel allen Übels (oder zumindest des größten Teils davon) in der Programmierung.

Vorzeitige Optimierung ist die Wurzel allen Übels.

Knuth nennt dies 15 Jahre später "Hoare's Dictum" ...

Ich weiß nicht, dass ich mit der Statistik-Umschreibung * einverstanden bin. In der Statistik gibt es jede Menge "Böses", das nichts mit Optimierung zu tun hat.

Sollten Statistiker und ML-Praktiker immer vorsichtig sein, ihre Modelle zu optimieren, auch wenn sie strenge Kreuzvalidierungsprotokolle einhalten (z. B. 100 verschachtelte 10-fache Lebensläufe)? Wenn ja, woher wissen wir, wann wir aufhören müssen, nach dem "besten" Modell zu suchen?

Ich denke, das Entscheidende ist, die Eigenschaften der von Ihnen durchgeführten Verfahren vollständig (oder so vollständig wie möglich) zu verstehen.

$\,^\text{* I won't presume to comment on Knuth's use of it, since there's little I could}$ $\quad ^\text{say that he couldn't rightly claim to understand ten times as well as I do.}$

— Glen_b - Setzen Sie Monica wieder ein
quelle

Danke, das ist hilfreich. Ich denke, es gibt einige interessante Zusammenhänge zwischen vorzeitiger Optimierung in der Programmierung und Überanpassung. Ich frage mich, ob es in unserer Community ähnliche Zitate gibt und ob es einen rigorosen Weg gibt, dies in der Statistik zu bekämpfen.

— Amelio Vazquez-Reina

Meine Verwendung des Ausdrucks wurde von Knuths inspiriert, obwohl der Grund anders ist und aus bayesianischer Sicht so ziemlich jede Optimierung eine schlechte Sache ist und Marginalisierung besser ist.

— Dikran Beuteltier

Eine Reihe von Möglichkeiten, wie Sie das Zitat (in Statistiken) analysieren können, vorausgesetzt, die Optimierung bezieht sich auf die (datenbasierte) Modellauswahl:

Wenn Sie sich für die Vorhersage interessieren, ist die Modellmittelung möglicherweise besser als die Auswahl eines einzelnen Modells.
Wenn Sie ein Modell für denselben Datensatz auswählen, der für das Modell verwendet wird, wird dies die üblichen Inferenz-Tools / -Prozeduren ruinieren, die davon ausgehen, dass Sie das Modell von vornherein ausgewählt haben . (Angenommen, Sie führen eine schrittweise Regression durch und wählen die Modellgröße durch Kreuzvalidierung. Bei einer Frequentist-Analyse sind die üblichen p-Werte oder CIs für das ausgewählte Modell nicht korrekt. Ich bin sicher, dass es bei Bayes'schen Analysen, bei denen es sich um Modelle handelt, entsprechende Probleme gibt Auswahl.)
Wenn Ihr Datensatz im Vergleich zu der von Ihnen in Betracht gezogenen Modellfamilie groß genug ist, ist eine Überanpassung möglicherweise kein Problem und eine Modellauswahl ist möglicherweise nicht erforderlich. (Nehmen wir an, Sie passen eine lineare Regression an, indem Sie ein Dataset mit wenigen Variablen und sehr vielen Beobachtungen verwenden. Bei allen unechten Variablen sollten die Koeffizienten ohnehin auf nahe 0 geschätzt werden. Vielleicht müssen Sie sich also nicht einmal die Mühe machen, ein kleineres Modell auszuwählen.)
Wenn Ihr Dataset klein genug ist, verfügen Sie möglicherweise nicht über genügend Daten, um das "wahre" oder "beste" Modell für das Problem zu ermitteln. Was bedeutet es in diesem Fall überhaupt, die Modellauswahl gut zu machen? (Zurück zur linearen Regression: sollten Sie zielen darauf ab, das „wahre“ Modell mit den richtigen Variablen zu wählen, auch wenn Sie nicht genug Daten , um sie alle angemessen zu messen , sollten Sie nur das größte Modell auswählen , für die Sie haben genügend Daten ?)
Auch wenn klar ist, dass Sie eine Modellauswahl vornehmen können und sollten, ist eine Kreuzvalidierung kein Allheilmittel. Es hat viele Varianten und sogar einen eigenen Abstimmungsparameter (Anzahl der Falten oder Zug: Test-Verhältnis), der sich auf seine Eigenschaften auswirkt. Vertraue es also nicht blind.

— civilstat
quelle