Maß für die "Abweichung" für Poisson ohne Inflation oder negatives Binomial ohne Inflation?

Eine skalierte Abweichung, definiert als D = 2 * (logarithmische Wahrscheinlichkeit eines gesättigten Modells minus logarithmische Wahrscheinlichkeit eines angepassten Modells), wird häufig als Maß für die Anpassungsgüte in GLM-Modellen verwendet. Die erklärte prozentuale Abweichung, definiert als [D (Nullmodell) - D (angepasstes Modell)] / D (Nullmodell), wird manchmal auch als GLM-Analogon zum R-Quadrat der linearen Regression verwendet. Abgesehen von der Tatsache, dass ZIP- und ZINB-Verteilungen nicht Teil der exponentiellen Verteilungsfamilie sind, habe ich Probleme zu verstehen, warum skalierte Abweichungen und erklärte prozentuale Abweichungen bei der Modellierung ohne Inflation nicht verwendet werden. Kann jemand etwas Licht ins Dunkel bringen oder hilfreiche Referenzen liefern? Danke im Voraus!

goodness-of-fit zero-inflation deviance

— aleanjeo
quelle

sehr gute Frage - ich würde das auch gerne wissen

— user2673238

Die Abweichung ist ein GLM-Konzept. ZIP- und ZINB-Modelle sind keine glms, sondern werden als endliche Mischungen von Verteilungen formuliert, die GLMs sind und daher einfach über einen EM-Algorithmus gelöst werden können.

Diese Anmerkungen beschreiben die Theorie der Abweichung kurz. Wenn Sie diese Notizen lesen, sehen Sie den Beweis, dass das gesättigte Modell für die Poisson-Regression eine logarithmische Wahrscheinlichkeit aufweist

ℓ (λ_{s}) = \sum_{ich = 1, \forall y_{ich} \neq 0}^{n} [y_{ich} l Ö G (y_{ich}) - - y_{ich} - - l Ö G (y_{ich}!)]]

$\ell(\lambda_s)= \sum_{i=1, \forall y_i\neq 0}^n \left[ y_ilog(y_i)-y_i -log(y_i!)\right]$

Dies ergibt sich aus den Plug-In-Schätzungen . $y_i =\hat{\lambda}_i$

Ich werde jetzt mit der ZIP-Wahrscheinlichkeit fortfahren, da die Mathematik einfacher ist und ähnliche Ergebnisse für die ZINB gelten. Leider gibt es für die ZIP keine einfache Beziehung wie im Poisson. Die te Beobachtungsprotokollwahrscheinlichkeit ist $i$

ℓ_{i} (ϕ, λ) = Z_{i} l o g (ϕ + (1 - ϕ) e^{- λ}) + (1 - Z_{i}) [- λ + y_{i} l o g (λ) - l o g (y_{i}!)] .

$\ell_i(\phi, \lambda)=Z_ilog(\phi+(1-\phi)e^{-\lambda})+ (1-Z_i)\left[-\lambda +y_ilog(\lambda) -log(y_i!)\right].$

$Z_i$ $\lambda$ $\phi$ $\lambda$ $\phi$ $y_i=0$ $\hat{\lambda}$ $\hat{\phi}$ $Z_i$ $y_i=0$ $Z_i$ Wert Wir würden kein ZIP-Modell benötigen, da wir keine fehlenden Daten hätten. Die beobachteten Daten entsprechen der Wahrscheinlichkeit "vollständiger Daten" im EM-Formalismus.

$Z_i$ $\mathbb{E}(\ell_i(\phi, \lambda))$ $Z_i$ $expected$

Auch diese Frage wurde zuerst gestellt, also habe ich diesen Beitrag beantwortet. Es gibt jedoch eine andere Frage zum gleichen Thema mit einem netten Kommentar von Gordon Smyth hier: Abweichung für das nicht aufgeblasene zusammengesetzte Poisson-Modell, kontinuierliche Daten (R), bei der er dieselbe Antwort erwähnte (dies ist eine Ausarbeitung dieses Kommentars, den ich hätte sagen) und sie erwähnten in den Kommentaren zum anderen Beitrag ein Papier, das Sie vielleicht lesen möchten. (Haftungsausschluss, ich habe das referenzierte Papier nicht gelesen)

— Lucas Roberts
quelle