Warum wird das Quasi-Poisson in GLM nicht als Sonderfall eines negativen Binomials behandelt?

Ich versuche, verallgemeinerte lineare Modelle an einige Sätze von Zähldaten anzupassen, die möglicherweise überdispers sind oder nicht. Die beiden hier geltenden kanonischen Verteilungen sind das Poisson- und das Negative Binomial (Negbin) mit EV und Varianz$\mu$

$Var_P = \mu$

$Var_{NB} = \mu + \frac{\mu^2}{\theta}$

in denen R montiert werden unter Verwendung von, glm(..,family=poisson)und glm.nb(...)sind. Es gibt auch die quasipoissonFamilie, die nach meinem Verständnis ein angepasster Poisson mit dem gleichen EV und der gleichen Varianz ist

$Var_{QP} = \phi\mu$ ,

dh irgendwo zwischen Poisson und Negbin fallen. Das Hauptproblem bei der Quasipoisson-Familie ist, dass es keine entsprechende Wahrscheinlichkeit dafür gibt und daher viele äußerst nützliche statistische Tests und Anpassungsmaße (AIC, LR usw.) nicht verfügbar sind.

Wenn Sie die QP- und Negbin-Varianzen vergleichen, stellen Sie möglicherweise fest, dass Sie sie gleichsetzen können, indem Sie . Wenn Sie diese Logik fortsetzen, können Sie versuchen, die Quasipoisson-Verteilung als Sonderfall des Negbin auszudrücken:$\phi = 1 + \frac{\mu}{\theta}$

$QP\,(\mu,\phi) = NB\,(\mu,\theta = \frac{\mu}{\phi-1})$ ,

dh ein Negbin mit thgr; linear abhängig von mgr ; . Ich habe versucht, diese Idee zu verifizieren, indem ich eine zufällige Folge von Zahlen gemäß der obigen Formel generiert und sie mit Folgendem ausstattet :$\theta$$\mu$glm

#fix parameters

phi = 3
a = 1/50
b = 3
x = 1:100

#generating points according to an exp-linear curve
#this way the default log-link recovers the same parameters for comparison

mu = exp(a*x+b) 
y = rnbinom(n = length(mu), mu = mu, size = mu/(phi-1)) #random negbin generator

#fit a generalized linear model y = f(x)  
glmQP = glm(y~x, family=quasipoisson) #quasipoisson
glmNB = glm.nb(y~x) #negative binomial

> glmQP

Call:  glm(formula = y ~ x, family = quasipoisson)

Coefficients:
(Intercept)            x  
    3.11257      0.01854  
(Dispersion parameter for quasipoisson family taken to be 3.613573)

Degrees of Freedom: 99 Total (i.e. Null);  98 Residual
Null Deviance:      2097 
Residual Deviance: 356.8    AIC: NA

> glmNB

Call:  glm.nb(formula = y ~ x, init.theta = 23.36389741, link = log)

Coefficients:
(Intercept)            x  
    3.10182      0.01873  

Degrees of Freedom: 99 Total (i.e. Null);  98 Residual
Null Deviance:      578.1 
Residual Deviance: 107.8    AIC: 824.7

Beide Anpassungen reproduzieren die Parameter, und die Quasipoisson liefert eine 'vernünftige' Schätzung für . Wir können jetzt auch einen AIC-Wert für die Quasipoisson definieren:$\phi$

df = 3 # three model parameters: a,b, and phi
phi.fit = 3.613573 #fitted phi value copied from summary(glmQP)
mu.fit = glmQP$fitted.values 

#dnbinom = negbin density, log=T returns log probabilities
AIC = 2*df - 2*sum(dnbinom(y, mu=mu.fit, size = mu.fit/(phi.fit - 1), log=T))
> AIC
[1] 819.329

(Ich musste den angepassten Wert von manuell kopieren , da ich ihn im Objekt nicht finden konnte. )$\phi$summary(glmQP)glmQP

Da , würde dies anzeigen, dass die Quasipoisson, nicht überraschend, die bessere Anpassung ist; also zumindest , was es tun sollte, und daher könnte es eine vernünftige Definition für den AIC (und damit auch die Wahrscheinlichkeit) einer Quasipoisson sein. Die großen Fragen, die ich noch habe, sind dann A I C Q $AIC_{QP} < AIC_{NB}$$AIC_{QP}$

1. Ist diese Idee sinnvoll? Basiert meine Überprüfung auf Zirkelschluss?
2. Die Hauptfrage für alle, die etwas „erfinden“, was einem etablierten Thema zu fehlen scheint: Wenn diese Idee Sinn macht, warum ist sie nicht bereits in implementiert glm?

Bearbeiten: Figur hinzugefügt

Das Quasi-Poisson ist kein Full Maximum Likelihood (ML) -Modell, sondern ein Quasi-ML-Modell. Verwenden Sie einfach die Schätzfunktion (oder Bewertungsfunktion) aus dem Poisson-Modell, um die Koeffizienten zu schätzen, und verwenden Sie dann eine bestimmte Varianzfunktion, um geeignete Standardfehler (oder vielmehr eine vollständige Kovarianzmatrix) zu erhalten, um eine Inferenz durchzuführen. Daher glm()nicht liefern und logLik()oder AIC()hier usw.

Wie Sie richtig hervorheben, kann ein Modell mit derselben Erwartungs- und in das negative Binomial-Framework (NB) eingebettet werden, wenn der sizeParameter zusammen mit der Erwartung variiert . In der Literatur wird dies typischerweise als NB1-Parametrisierung bezeichnet. Siehe beispielsweise das Cameron & Trivedi-Buch (Regressionsanalyse von Zähldaten) oder "Analysis of Microdata" von Winkelmann & Boes.μ $\theta_i$$\mu_i$

Wenn es keine Regressoren gibt (nur einen Abschnitt), stimmen die NB1-Parametrisierung und die NB2-Parametrisierung, die von verwendet werden MASS, glm.nb()überein. Bei Regressoren unterscheiden sie sich. In der statistischen Literatur wird die NB2-Parametrisierung häufiger verwendet, einige Softwarepakete bieten jedoch auch die NB1-Version an. Beispielsweise können Sie in R das gamlssPaket verwenden, um zu tun gamlss(y ~ x, family = NBII). Beachten Sie, dass etwas verwirrend gamlssverwendet NBIfür die NB2 Parametrisierung und NBIIfür NB1. (Fachsprache und Terminologie sind jedoch nicht in allen Communities einheitlich.)

Dann könnten Sie sich natürlich fragen, warum Sie Quasi-Poisson verwenden, wenn NB1 verfügbar ist. Es gibt noch einen subtilen Unterschied: Der erstere verwendet Quasi-ML und erhält die Schätzung aus der Dispersion der quadratischen Abweichungs- (oder Pearson-) Residuen. Letzterer verwendet volle ML. In der Praxis ist der Unterschied oft nicht groß, aber die Gründe für die Verwendung beider Modelle sind leicht unterschiedlich.