Warum gibt mir die Anwendung der Modellauswahl mit AIC nicht signifikante p-Werte für die Variablen?

Ich habe einige Fragen zum AIC und hoffe, dass Sie mir helfen können. Ich habe die Modellauswahl (vorwärts oder rückwärts) basierend auf dem AIC auf meine Daten angewendet. Und einige der ausgewählten Variablen haben am Ende einen p-Wert> 0,05. Ich weiß, dass die Leute sagen, wir sollten Modelle basierend auf dem AIC anstelle des p-Werts auswählen, also scheinen der AIC und der p-Wert zwei unterschiedliche Konzepte zu sein. Könnte mir jemand sagen, was der Unterschied ist? Was ich bis jetzt verstehe, ist das:

1. Für die Rückwärtsauswahl mit dem AIC haben wir 3 Variablen (var1, var2, var3) und der AIC dieses Modells ist AIC *. Wenn das Ausschließen einer dieser drei Variablen nicht zu einem AIC führen würde, der signifikant niedriger ist als der AIC * (ausgedrückt als ch-Quadrat-Verteilung mit df = 1), würden wir sagen, dass diese drei Variablen das Endergebnis sind.

2. Ein signifikanter p-Wert für eine Variable (z. B. var1) in einem Drei-Variablen-Modell bedeutet, dass sich die standardisierte Effektgröße dieser Variablen signifikant von 0 unterscheidet (gemäß Wald oder t-Test).

Was ist der grundlegende Unterschied zwischen diesen beiden Methoden? Wie interpretiere ich es, wenn mein bestes Modell einige Variablen mit nicht signifikanten p-Werten enthält (erhalten über den AIC)?

AIC und seine Varianten sind näher an Variationen von als an p-Werten jedes Regressors. Genauer gesagt handelt es sich um benachteiligte Versionen der Log-Wahrscheinlichkeit.$R^2$

Sie möchten AIC-Unterschiede nicht mit Chi-Quadrat testen. Sie können Unterschiede der Log-Wahrscheinlichkeit mit Chi-Quadrat testen (wenn die Modelle verschachtelt sind). Für AIC ist niedriger besser (in den meisten Implementierungen jedenfalls). Keine weitere Anpassung erforderlich.

Wenn möglich, sollten Sie auf automatisierte Modellauswahlmethoden verzichten. Wenn Sie einen verwenden müssen, versuchen Sie es mit LASSO oder LAR.

Tatsächlich entspricht die Verwendung von AIC für die schrittweise Auswahl einer einzelnen Variablen zu einem Zeitpunkt (zumindest asymptotisch) der schrittweisen Auswahl unter Verwendung eines Grenzwerts für p-Werte von etwa 15,7%. (Dies ist recht einfach zu zeigen - der AIC für das größere Modell wird kleiner, wenn er die log-Wahrscheinlichkeit um mehr als die Strafe für den zusätzlichen Parameter 2 verringert. Dies entspricht der Auswahl des größeren Modells, wenn der p-Wert in a Das Wald-Chi-Quadrat ist kleiner als die Schwanzfläche von a $\chi^2_1$ jenseits von 2 ... (15,7%)

Es ist daher nicht verwunderlich, wenn man es mit der Verwendung eines kleineren Grenzwerts für p-Werte vergleicht, der manchmal Variablen mit höheren p-Werten als diesem Grenzwert enthält.

Beachten Sie, dass weder p-Werte noch AIC für die schrittweise Modellauswahl entwickelt wurden. Tatsächlich werden die beiden zugrunde liegenden Annahmen (aber unterschiedliche Annahmen) nach dem ersten Schritt in einer schrittweisen Regression verletzt. Wie @PeterFlom bereits erwähnt hat, sind LASSO und / oder LAR die besseren Alternativen, wenn Sie das Bedürfnis nach einer automatisierten Modellauswahl haben. Diese Methoden ziehen die Schätzungen, die zufällig groß sind (die den Zufall schrittweise belohnen), zurück in Richtung 0 und sind daher tendenziell weniger voreingenommen als schrittweise (und die verbleibende Voreingenommenheit ist tendenziell konservativer).

Ein großes Problem bei der AIC, das oft übersehen wird, ist die Größe der Differenz bei den AIC-Werten. Es ist allzu häufig, zu sehen, dass "niedriger ist besser" und dort anzuhalten ist (und automatisierte Verfahren betonen dies nur). Wenn Sie 2 Modelle vergleichen und diese sehr unterschiedliche AIC-Werte haben, gibt es eine eindeutige Präferenz für das Modell mit dem niedrigeren AIC, aber häufig haben wir 2 (oder mehr) Modelle mit AIC-Werten, die nahe beieinander liegen In diesem Fall werden bei Verwendung nur des Modells mit dem niedrigsten AIC-Wert wertvolle Informationen übersehen (und Aussagen zu Begriffen, die in diesem Modell vorkommen oder nicht, sich jedoch in den anderen ähnlichen Modellen unterscheiden, sind bedeutungslos oder schlechter). Informationen von außerhalb der Daten selbst (wie z. B. wie schwer / teuer es ist, den Satz von Prädiktorvariablen zu erfassen) können die Verwendung eines Modells mit einem etwas höheren AIC ohne großen Qualitätsverlust wünschenswerter machen. Ein anderer Ansatz besteht darin, einen gewichteten Durchschnitt der ähnlichen Modelle zu verwenden (dies wird wahrscheinlich zu ähnlichen endgültigen Vorhersagen führen wie bei den bestraften Methoden wie Gratregression oder Lasso, aber der zum Modell führende Denkprozess könnte das Verständnis unterstützen).

Meine Erfahrung mit dem AIC ist, dass sich Variablen als mögliche Störfaktoren herausstellen, wenn sie nicht signifikant erscheinen, aber immer noch im Modell mit dem kleinsten AIC erscheinen.

Ich schlage vor, Sie überprüfen auf Verwechslungen. Wenn solche nicht signifikanten Variablen entfernt werden, ändert sich die Magnetstärke einiger verbleibender geschätzter Koeffizienten um mehr als 25%.

Ich denke, die beste Modellauswahl ist die Verwendung des MuMIn-Pakets. Dies ist ein einziges Ergebnis, und Sie müssen nicht nach den niedrigsten AIC-Werten suchen. Beispiel:

d<-read.csv("datasource")
library(MuMIn)
fit<-glm(y~x1+x2+x3+x4,family=poisson,data=d)
get.models(dredge(fit,rank="AIC"))[1]