Verständnis AIC und Schwarz-Kriterium

Ich betreibe ein Logistikmodell. Der tatsächliche Modelldatensatz enthält mehr als 100 Variablen, aber ich wähle einen Testdatensatz aus, in dem sich etwa 25 Variablen befinden. Davor habe ich auch einen Datensatz mit 8-9 Variablen erstellt. Mir wurde gesagt, dass AIC- und SC-Werte verwendet werden können, um das Modell zu vergleichen. Ich beobachtete, dass das Modell höhere SC-Werte aufwies, selbst wenn die Variable niedrige p-Werte aufwies (z. B. 0053). Meiner Intuition nach sollte ein Modell mit Variablen mit gutem Signifikanzniveau zu niedrigen SC- und AIC-Werten führen. Das passiert aber nicht. Kann das bitte jemand klären. Kurz gesagt, ich möchte folgende Fragen stellen:

1. Hat die Anzahl der Variablen etwas mit SC AIC zu tun?
2. Sollte ich mich auf p-Werte oder niedrige SC AIC-Werte konzentrieren?
3. Was sind die typischen Methoden zur Reduzierung der SC AIC-Werte?

Es ist ziemlich schwierig, Ihre Frage präzise zu beantworten, aber es scheint mir, dass Sie zwei Kriterien (Informationskriterien und p-Wert) vergleichen, die nicht die gleichen Informationen liefern. Für alle Informationskriterien (AIC- oder Schwarz-Kriterium) ist die Anpassung Ihres Modells (aus statistischer Sicht) umso besser, je kleiner sie sind, da sie einen Kompromiss zwischen der fehlenden Anpassung und der Anzahl der Parameter im Modell widerspiegeln ; Das Akaike-Kriterium lautet beispielsweise , wobei$-2\log(\ell)+2k$$k$ist die Anzahl der Parameter. Im Gegensatz zu AIC ist SC jedoch konsistent: Die Wahrscheinlichkeit, ein größeres Modell falsch auszuwählen, konvergiert mit zunehmender Stichprobengröße gegen 0. Sie werden zum Vergleichen von Modellen verwendet. Sie können jedoch ein Modell mit signifikanten Prädiktoren beobachten, die eine schlechte Anpassung bieten (große Restabweichung). Wenn Sie mit einem niedrigeren AIC ein anderes Modell erzielen können, deutet dies auf ein schlechtes Modell hin. Und wenn Ihre Stichprobe groß ist, können die Werte immer noch niedrig sein, was nicht viel über die Modellanpassung aussagt. Überprüfen Sie zumindest, ob der AIC eine signifikante Abnahme aufweist, wenn Sie das Modell nur mit einem Achsenabschnitt und das Modell mit Kovariaten vergleichen. Wenn Sie jedoch Interesse daran haben, die beste Teilmenge von Prädiktoren zu finden, müssen Sie sich unbedingt die Methoden für die Variablenauswahl ansehen.$p$

Ich würde vorschlagen, die bestrafte Regression zu betrachten , die es ermöglicht, Variablen auszuwählen, um Überanpassungsprobleme zu vermeiden. (. P 207 ff.) Dies ist in Frank Harrell Regression Modellierungsstrategien diskutiert, oder Monde et al., Maximum - Likelihood - Schätzung sanktionierte direkt diagnostische und prognostische Vorhersagemodelle zur Überschätzung einstellen: ein klinisches Beispiel , J Clin Epid (2004) 57 ( 12).

Siehe auch den Entwurf ( lrm) und stepPlr ( step.plr) R - Pakete oder das bestrafte Paket. Sie können verwandte Fragen zur Variablenauswahl in dieser SE durchsuchen .

Die Gruppierung von SC und AIC ist falsch . Es sind sehr unterschiedliche Dinge, obwohl die Leute sie stark missbrauchen. AIC ist sinnvoll, wenn Sie Dinge vorhersagen. Die Verwendung von SC in diesem Szenario kann (nicht immer) zu falschen Ergebnissen führen. In ähnlicher Weise ist SC besser, wenn Sie daran interessiert sind, eine Modellauswahl nach dem Prinzip der Sparsamkeit (Occam's Razor) vorzunehmen. Ich möchte nicht auf die theoretischen Details eingehen, sondern auf den Punkt bringen: SC - gut für sparsame Modelle, wenn Sie zur Erklärung Ihrer Daten ein möglichst einfaches Modell benötigen, AIC - wenn Sie Vorhersagen treffen möchten. AIC geht nicht davon aus, dass Ihr wahres Modell im Modellbereich liegt, in dem sich SC befindet.

Zweitens kann die gemeinsame Verwendung von p-Werten und Informationskriterien auch irreführend sein, wie dies durch chl erklärt wird .