Stepwise AIC - Gibt es Kontroversen zu diesem Thema?

Ich habe unzählige Beiträge auf dieser Site gelesen, die unglaublich gegen die schrittweise Auswahl von Variablen mit beliebigen Kriterien wie p-Werten, AIC, BIC usw. sind.

Ich verstehe, warum diese Verfahren im Allgemeinen ziemlich schlecht für die Auswahl von Variablen sind. Gungs wahrscheinlich berühmter Post hier zeigt deutlich, warum; Letztendlich überprüfen wir eine Hypothese für denselben Datensatz, den wir zur Erstellung der Hypothese verwendet haben, bei der es sich nur um Datenbaggerung handelt. Darüber hinaus werden p-Werte durch Größen wie Kollinearität und Ausreißer beeinflusst, die zu einer starken Verschiebung der Ergebnisse usw. führen.

Aber ich habe in letzter Zeit ziemlich viel Reihenprognose Studium Zeit und haben über Hyndman des angesehenen Lehrbuch kommen , in dem er erwähnt hier die Verwendung von schrittweise Auswahl der optimalen Reihenfolge der ARIMA - Modelle insbesondere zu finden. In dem forecastPaket in R verwendet der als auto.arimaStandard bekannte Algorithmus die schrittweise Auswahl (mit AIC, nicht mit p-Werten). Er kritisiert auch die auf p-Werten basierende Funktionsauswahl, die gut mit mehreren Posts auf dieser Website übereinstimmt.

Letztendlich sollten wir am Ende immer eine Art Kreuzvalidierung durchführen, wenn das Ziel darin besteht, gute Modelle für Prognosen / Vorhersagen zu entwickeln. Dies ist hier jedoch sicherlich eine gewisse Meinungsverschiedenheit, wenn es um die Prozedur selbst für andere Bewertungsmetriken als p-Werte geht.

Hat jemand eine Meinung zur Verwendung von stepwise AIC in diesem Zusammenhang, aber auch generell außerhalb dieses Zusammenhangs? Mir wurde beigebracht zu glauben, dass eine schrittweise Auswahl schlecht ist, aber um ehrlich zu sein, auto.arima(stepwise = TRUE)habe ich aus den Stichprobenergebnissen bessere Ergebnisse erzielt, als dies auto.arima(stepwise = FALSE)vielleicht nur ein Zufall ist.

Hier gibt es ein paar verschiedene Probleme.

• Wahrscheinlich das Hauptproblem ist , dass die Modellauswahl (ob mit p-Werten oder AICs, schrittweise oder alle-Subsets oder etwas anderes) für in erster Linie problematisch ist Inferenz (zB immer p-Werte mit entsprechendem Typ - I - Fehler, Konfidenzintervall mit entsprechender Abdeckung). Zur Vorhersage kann die Modellauswahl tatsächlich einen besseren Punkt auf der Ausgleichsachse für die Abweichung von der Stichprobe auswählen und den Fehler außerhalb der Stichprobe verbessern.
• Bei einigen Modellklassen entspricht die AIC asymptotisch dem Auslassen eines Lebenslauffehlers [siehe z. B. http://www.petrkeil.com/?p=836 ], sodass die Verwendung der AIC als rechnerisch effizienter Proxy für den Lebenslauf sinnvoll ist.
• Die schrittweise Auswahl wird häufig von anderen Modellauswahl- (oder Mittelwertbildungs- ) Methoden (alle Teilmengen, falls rechnerisch möglich, oder Schrumpfungsmethoden) dominiert . Aber es ist einfach und leicht zu implementieren, und wenn die Antwort klar genug ist (einige Parameter entsprechen starken Signalen, andere schwach, wenige dazwischen), werden vernünftige Ergebnisse erzielt. Auch hier gibt es einen großen Unterschied zwischen Inferenz und Vorhersage. Wenn Sie zum Beispiel ein paar stark korrelierte Prädiktoren haben, ist die Auswahl der falschen (aus Sicht der "Wahrheit" / Kausalität) ein großes Problem für die Schlussfolgerung, aber die Auswahl derjenigen, die Ihnen den besten AIC liefert, ist vernünftig Vorhersagestrategie (wenn auch eine, die fehlschlägt, wenn Sie versuchen, eine Situation vorherzusagen, in der sich die Korrelation der Prädiktoren ändert ...)

Fazit: Für mittelgroße Daten mit einem angemessenen Signal-Rausch-Verhältnis kann eine schrittweise Auswahl auf AIC-Basis tatsächlich ein vertretbares Vorhersagemodell ergeben . siehe Murtaugh (2009) für ein Beispiel.

Murtaugh, Paul A. "Durchführung mehrerer variabler Auswahlmethoden, die auf reale ökologische Daten angewendet werden." Ökologiebuchstaben 12, Nr. 10 (2009): 1061 & ndash; 1068.