Ich verwende AIC (Akaikes Informationskriterium), um nichtlineare Modelle in R zu vergleichen. Ist es gültig, die AICs verschiedener Modelltypen zu vergleichen? Insbesondere vergleiche ich ein von glm angepasstes Modell mit einem von glmer (lme4) angepassten Ausdruck für zufällige Effekte.
Wenn nein, gibt es eine Möglichkeit, einen solchen Vergleich durchzuführen? Oder ist die Idee völlig ungültig?
Antworten:
Es hängt davon ab, ob. AIC ist eine Funktion der Log-Wahrscheinlichkeit. Wenn beide Modelltypen die Protokollwahrscheinlichkeit auf dieselbe Weise berechnen (dh dieselbe Konstante einschließen), können Sie dies, wenn die Modelle verschachtelt sind .
Ich bin mir ziemlich sicher glm()und lmer()verwende keine vergleichbaren Log-Wahrscheinlichkeiten.
Der Punkt über verschachtelte Modelle steht ebenfalls zur Diskussion. Einige sagen, AIC sei nur für verschachtelte Modelle gültig, da auf diese Weise die Theorie präsentiert / ausgearbeitet wird. Andere verwenden es für alle Arten von Vergleichen.
Das ist eine großartige Frage, auf die ich mich schon eine Weile gefreut habe.
Für Modelle derselben Familie (dh autoregressive Modelle der Ordnung k oder Polynome) ist AIC / BIC sehr sinnvoll. In anderen Fällen ist es weniger klar. Die genaue Berechnung der Log-Wahrscheinlichkeit (mit den konstanten Termen) sollte funktionieren, aber ein komplizierterer Modellvergleich wie Bayes-Faktoren ist wahrscheinlich besser (http://www.jstor.org/stable/2291091).
Wenn die Modelle dieselbe Verlust- / Fehlerfunktion haben, besteht eine Alternative darin, nur die kreuzvalidierten Log-Wahrscheinlichkeiten zu vergleichen. Das ist normalerweise das, was ich versuche, wenn ich nicht sicher bin, ob AIC / BIC in einer bestimmten Situation Sinn macht.
Beachten Sie, dass AIC in einigen Fällen nicht einmal Modelle desselben Typs vergleichen kann, wie z. B. ARIMA-Modelle mit einer anderen Differenzierungsreihenfolge. Zitat Vorhersage: Grundsätze und Praxis von Rob J Hyndman und George Athanasopoulos:
Es ist wichtig anzumerken, dass diese Informationskriterien keine guten Anhaltspunkte für die Auswahl der geeigneten Differenzierungsreihenfolge ( ) eines Modells sind, sondern nur für die Auswahl der Werte von und . Dies liegt daran, dass durch die Differenzierung die Daten geändert werden, für die die Wahrscheinlichkeit berechnet wird, sodass die AIC-Werte zwischen Modellen mit unterschiedlicher Differenzierungsreihenfolge nicht vergleichbar sind. Wir müssen also einen anderen Ansatz verwenden, um zu wählen , und dann können wir mit dem AICc und auswählen .