Interpretation von Residuen und Null-Abweichungen in GLM R

Wie interpretiert man die Null- und Restabweichung in GLM in R? Wie wir sagen, dass kleinere AIC besser ist. Gibt es eine ähnliche und schnelle Interpretation auch für die Abweichungen?

Nullabweichung: 1146,1 bei 1077 Freiheitsgraden Restabweichung: 4589,4 bei 1099 Freiheitsgraden AIC: 11089

generalized-linear-model deviance

— Anjali
quelle

Antworten:

Sei LL = loglikelihood

Hier ist eine kurze Zusammenfassung dessen, was Sie aus der zusammenfassenden Ausgabe (glm.fit) sehen.

Nullabweichung = 2 (LL (gesättigtes Modell) - LL (Nullmodell)) bei df = df_Sat - df_Null

Restabweichung = 2 (LL (gesättigtes Modell) - LL (vorgeschlagenes Modell)) df = df_Sat - df_Proposed

Das gesättigte Modell ist ein Modell, das davon ausgeht, dass jeder Datenpunkt seine eigenen Parameter hat (was bedeutet, dass Sie n Parameter schätzen müssen.)

Das Nullmodell nimmt das genaue "Gegenteil" an, dh es wird ein Parameter für alle Datenpunkte angenommen, dh Sie schätzen nur 1 Parameter.

Das vorgeschlagene Modell geht davon aus, dass Sie Ihre Datenpunkte mit p-Parametern + einem Intercept-Term erklären können, sodass Sie p + 1-Parameter haben.

Wenn Ihre Null-Abweichung wirklich klein ist, bedeutet dies, dass das Null-Modell die Daten ziemlich gut erklärt. Ebenso mit Ihrer Restabweichung .

Was heißt eigentlich klein? Wenn Ihr Modell "gut" ist, beträgt Ihre Abweichung ungefähr 2 mit (df_sat - df_model) Freiheitsgraden.

Wenn Sie Ihr Nullmodell mit Ihrem vorgeschlagenen Modell vergleichen möchten, können Sie sich anschauen

(Nullabweichung - Restabweichung) ca. Chi ^ 2 mit df Vorgeschlagen - df Null = (n- (p + 1)) - (n-1) = p

Sind die Ergebnisse, die Sie direkt von R gaben? Sie scheinen ein bisschen seltsam, weil Sie im Allgemeinen sehen sollten, dass die auf dem Null angegebenen Freiheitsgrade immer höher sind als die auf dem Residuum angegebenen Freiheitsgrade. Dies liegt wiederum daran, dass Nullabweichung df = Gesättigte df - Nullabweichung df = n-1 Restabweichung df = Gesättigte df - Vorgeschlagene df = n- (p + 1)

— TeresaStat
quelle

Ja, das ist eine sehr nützliche Beschreibung von @TeresaStat, danke. Wie robust ist das? Ändern sich die Definitionen, wenn Sie von einem multinomialen Modell anstelle von einem sprechen GLM?

— Hack-R

@ Teresa: Ja, diese Ergebnisse stammen von R. Warum sollte das passieren? Irgendwelche Probleme mit dem Modell hier?

— Anjali

@ Hack-r: sorry für so eine späte antwort, ich bin neu bei stackexchange. Bei multinomialen Modellen verwenden Sie die glm-Funktion in R nicht und die Ausgabe ist unterschiedlich. Sie müssen sich entweder ein Proportional-Odds-Modell oder eine ordinale Regression ansehen, die mlogit-Funktion. Es lohnt sich, ein wenig über multinomiale Glms zu lesen, da sie leicht unterschiedliche Annahmen haben. Wenn ich in der Pause dazu komme, aktualisiere ich dies mit weiteren Informationen.

— TeresaStat

@Anjali, ich bin mir nicht ganz sicher, warum Sie in R solche Ergebnisse erhalten. Es ist schwer zu wissen, ohne Ihre Daten / Ergebnisse zu sehen. Im Allgemeinen verstehe ich nicht, warum die verbleibenden Freiheitsgrade höher wären als der Null-df. Wie viele Parameter haben Sie geschätzt?

— TeresaStat

@ user4050 Das Ziel der Modellierung im Allgemeinen kann darin gesehen werden, die kleinste Anzahl von Parametern zu verwenden, um das Beste aus Ihrer Antwort zu machen. Um herauszufinden, wie viele Parameter verwendet werden müssen, müssen Sie den Vorteil des Hinzufügens eines weiteren Parameters untersuchen. Wenn ein zusätzlicher Parameter eine Menge von Ihrem kleineren Modell erklärt (was zu großen Abweichungen führt), benötigen Sie den zusätzlichen Parameter. Um zu quantifizieren, was für eine Menge es ist, braucht man statistische Theorie. Die Theorie besagt, dass die Abweichung im Quadrat mit Freiheitsgraden angegeben ist, die der Differenz der Parameter zwischen Ihren beiden Modellen entsprechen. Ist es klarer?

— TeresaStat

Die Nullabweichung zeigt, wie gut die Antwort vom Modell mit nichts als einem Achsenabschnitt vorhergesagt wird.

Die Restabweichung zeigt, wie gut das Modell die Reaktion vorhersagt, wenn die Prädiktoren einbezogen werden. Aus Ihrem Beispiel ist ersichtlich, dass die Abweichung um 3443,3 steigt, wenn 22 Prädiktorvariablen hinzugefügt werden (Anmerkung: Freiheitsgrade = Anzahl der Beobachtungen - Anzahl der Prädiktoren). Diese Zunahme der Abweichung ist ein Beweis für einen signifikanten Mangel an Passform.

Wir können die Restabweichung auch verwenden, um zu testen, ob die Nullhypothese wahr ist (dh das logistische Regressionsmodell bietet eine angemessene Anpassung für die Daten). Dies ist möglich, weil die Abweichung durch den Chi-Quadrat-Wert bei bestimmten Freiheitsgraden gegeben ist. Um die Signifikanz zu testen, können wir die zugehörigen p-Werte unter Verwendung der folgenden Formel in R herausfinden:

p-value = 1 - pchisq(deviance, degrees of freedom)

Wenn Sie die obigen Werte für die Restabweichung und DF verwenden, erhalten Sie einen p-Wert von ungefähr Null, was darauf hinweist, dass ein erheblicher Mangel an Beweisen vorliegt, die die Nullhypothese stützen.

> 1 - pchisq(4589.4, 1099)
[1] 0

— dts86
quelle

Woher wissen Sie, wie hoch der Cutoff für eine gute / schlechte Anpassung ist, basierend auf der Abweichung und der Anzahl der Prädiktorvariablen (ohne Pchisq)? Ist es nur, wenn die Restabweichung> NULL-Abweichung ist, oder gibt es einen Bereich / Verhältnis?

— Hack-R

Ihre Antwort ist nicht falsch, sondern unterliegt Missverständnissen. Tatsächlich wurde es missverstanden (siehe hier ). Können Sie vor diesem Hintergrund die Unterschiede erläutern, die in Ihrem Code enthalten sind?

— gung - Reinstate Monica