Warum sind Pearsons Residuen einer negativen Binomialregression kleiner als die einer Poisson-Regression?

Ich habe diese Daten:

set.seed(1)
predictor  <- rnorm(20)
set.seed(1)
counts <- c(sample(1:1000, 20))
df <- data.frame(counts, predictor)

Ich habe eine Poisson-Regression durchgeführt

poisson_counts <- glm(counts ~ predictor, data = df, family = "poisson")

Und eine negative binomiale Regression:

require(MASS)
nb_counts <- glm.nb(counts ~ predictor, data = df)

Dann berechnete ich für die Dispersionsstatistik für die Poisson-Regression:

sum(residuals(poisson_counts, type="pearson")^2)/df.residual(poisson_counts)

# [1] 145.4905

Und die negative binomiale Regression:

sum(residuals(nb_counts, type="pearson")^2)/df.residual(nb_counts)

# [1] 0.7650289

Kann jemand ohne Verwendung von Gleichungen erklären, warum die Dispersionsstatistik für die negative binomiale Regression erheblich kleiner ist als die Dispersionsstatistik für die Poisson-Regression?

— luciano
quelle

Antworten:

Dies ist ziemlich einfach, aber das "ohne Verwendung von Gleichungen" ist ein erhebliches Handicap. Ich kann es in Worten erklären, aber diese Worte werden notwendigerweise Gleichungen widerspiegeln. Ich hoffe, dass dies für Sie akzeptabel / immer noch von Wert ist. (Die relevanten Gleichungen sind nicht schwierig.)

Es gibt verschiedene Arten von Residuen. Rohe Residuen sind einfach die Differenz zwischen den beobachteten Antwortwerten (in Ihrem Fall die counts) und den vorhergesagten Antwortwerten des Modells. Pearson-Residuen dividieren diese durch die Standardabweichung (die Quadratwurzel der Varianzfunktion für die bestimmte Version des von Ihnen verwendeten verallgemeinerten linearen Modells).

Die mit der Poisson-Verteilung verbundene Standardabweichung ist kleiner als die des negativen Binomials . Wenn Sie also durch einen größeren Nenner dividieren, ist der Quotient kleiner.

Darüber hinaus ist das negative Binomial für Ihren Fall besser geeignet, da Ihr Binom countsals Uniform in der Bevölkerung verteilt wird. Das heißt, ihre Varianz entspricht nicht ihrem Mittelwert.

— gung - Monica wieder einsetzen
quelle

Obwohl das OP um eine nicht mathematische Erklärung bittet, wäre es dennoch schön, eine mathematische (oder eine ebenso strenge und klare) Rechtfertigung für diese Antwort zu sehen. Beim Lesen der Frage war meine Intuition: "Da der Poisson ein (einschränkender) Sonderfall des NB ist und der NB mehr Parameter hat, gibt es mehr Flexibilität bei der Anpassung, so dass natürlich jedes vernünftige Maß an Residuen beim Ersetzen nicht zunehmen sollte ein Poisson GLM von einem NB GLM. " Ich frage mich, ob eine solche Intuition wirklich richtig war.

— whuber

Wenn , ist . Wenn , ist und . Eine Poisson-Varianz ist also gleich dem Mittelwert, eine NegBin-Varianz ist größer als der Mittelwert ( ). Aus diesem Grund "ist die mit der Poisson-Verteilung verbundene Standardabweichung kleiner als die des negativen Binomials."

X \sim Poisson (λ)

$X\sim\text{Poisson}(\lambda)$

E [X] = V [X] = λ

$E[X]=V[X]=\lambda$

X \sim NegBin (r, p)

$X\sim\text{NegBin}(r,p)$

E [X] = p r / (1 - p)

$E[X]=pr/(1-p)$

V [X] = p r / (1 - p)^{2}

$V[X]=pr/(1-p)^2$

p < 1 \Rightarrow (1 - p)^{2} < (1 - p)

$p<1\Rightarrow (1-p)^2<(1-p)$

— Sergio

@Sergio Der springende Punkt ist jedoch, dass wir im Poisson-Modell eher mit der Schätzung als mit selbst arbeiten und im NB-Modell ähnlich mit zwei Schätzungen und . Ihr Vergleich gilt daher nicht direkt. Ohne die Formeln für die MLEs in beiden Modellen tatsächlich aufzuschreiben, ist es überhaupt nicht offensichtlich, welche Beziehungen zwischen diesen Schätzungssätzen bestehen müssen. Darüber hinaus ist das Pearson-Residuum ein Verhältnis, und das Argument über Varianzen spricht nur die Nenner an, was nur die halbe Wahrheit ist.

\hat{λ}

$\hat\lambda$

λ

$\lambda$

\hat{r}

$\hat{r}$

\hat{p}

$\hat{p}$

— whuber

MLE-Schätzungen sind konsistent. Das Problem ist, dass, wenn, wie Gung sagt, "die Zählungen als Uniform in der Bevölkerung verteilt werden. Das heißt, ihre Varianz nicht ihrem Mittelwert entspricht", Sie niemals eine geschätzte Poisson-Varianz erhalten können, die größer als eine geschätzte ist Poisson bedeutet, auch wenn Ihre Schätzungen unvoreingenommen und konsistent sind. Es ist ein Problem der Fehlspezifikation.

— Sergio

Für das Poisson - Modell, wenn die expection für die - te Beobachtung wird seine Varianz , & der Pearson Rest deshalb $i$ $Y_i$ $\mu_i$ $\mu_i$

\frac{y_{i} - {\hat{μ}}_{i}}{\sqrt{{\hat{μ}}_{i}}}

$\frac{y_i-\hat\mu_i}{\sqrt{\hat\mu_i}}$

Dabei ist die Schätzung des Mittelwerts. Die Parametrisierung des in MASS verwendeten negativen Binomialmodells wird hier erläutert . Wenn die expection für die - te Beobachtung ist seine Varianz , & Pearson der Rest deshalb $\hat\mu$ $i$ $Y_i$ $\mu_i$ $\mu_i + \frac{\mu^2}{\theta}$

\frac{y_{i} - {\tilde{μ}}_{i}}{\sqrt{{\tilde{μ}}_{i} + \frac{{\tilde{μ}}^{' 2}}{θ}}}

$\frac{y_i-\tilde\mu_i}{\sqrt{\tilde\mu_i+\frac{\tilde\mu'^2}{\theta}}}$

Dabei ist die Schätzung des Mittelwerts. Je kleiner der Wert von - dh je mehr Extra-Poisson-Varianz -, desto kleiner ist der Rest im Vergleich zu seinem Poisson-Äquivalent. [Aber wie @whuber hervorgehoben hat, sind die Schätzungen der Mittelwerte nicht dieselben, , weil das Schätzverfahren Beobachtungen gemäß ihrer angenommenen Varianz gewichtet. Wenn Sie Wiederholungsmessungen für das te Prädiktormuster durchführen würden, würden sie näher kommen, und im Allgemeinen sollte das Hinzufügen eines Parameters eine bessere Übereinstimmung für alle Beobachtungen ergeben, obwohl ich nicht weiß, wie ich dies genau demonstrieren kann. Trotzdem sind die von Ihnen geschätzten Bevölkerungsmengen größer, wenn das Poisson-Modell gilt. Es sollte also keine Überraschung sein.] $\tilde\mu$ $\theta$ $\hat\mu\neq\tilde\mu$ $i$

— Scortchi - Monica wieder einsetzen
quelle

Vielen Dank, dass Sie einige der Gleichungen eingeführt haben. Aber haben die in den beiden Modellen die gleichen Werte? (Ich glaube nicht.) Wenn nicht, wie ist es dann möglich, die beiden Pearson-Residuen zu vergleichen?

μ_{i}

$\mu_i$

— whuber

@whuber In diesem Fall stellt sich heraus, dass die angepassten Werte für beide Modelle nahezu identisch sind. Schließlich hat das "wahre" Modell wirklich nur einen Achsenabschnitt und modelliert im Grunde den Mittelwert, da es in der Simulation keine Beziehung zwischen x und Y gibt.

— Jsk

@jsk Ja, ich habe mir die Daten angesehen und den Code ausgeführt. (Übrigens ist es möglich, die Daten zu ändern und im Wesentlichen dieselbe Dispersionsstatistik für die beiden Modelle zu erhalten.) Leider regelt Ihr gültiger Punkt die spezifische Frage noch nicht und geht auch nicht auf die (implizite) allgemeine Frage ein Vergleich von Poisson-Residuen mit NB-Residuen, da die geschätzten Varianzen ebenfalls nahezu identisch sein könnten. Ein möglicherweise verwirrender Aspekt der vorliegenden Antwort ist die Verwendung des Symbols " ", um darauf , was (im Prinzip) unterschiedliche Schätzungen in zwei Modellen derselben Daten sein könnten .

μ_{i}

$\mu_i$

— whuber

@whuber In der Tat haben Sie gültige Punkte über die Verwendung von . Interessanterweise kann ich anscheinend keinen Weg finden, Daten zu simulieren, die zu einer niedrigeren Dispersionsstatistik für Poisson als NB führen würden. Vielleicht ist es nicht möglich? Ich stimme zu, dass dies intuitiv Sinn macht. Nicht leicht zu beweisen, da es keine geschlossene Lösung für die mle gibt, wenn Sie eine glm mit einer anderen Link-Funktion als der Identität haben. Aber ja, es ist einfach, die beiden Dispersionsstatistiken sehr ähnlich zu machen.

μ_{i}

$\mu_i$

— Jsk

@jsk - Ein theoretisches Argument für den Verdacht, dass ein NB-Modell immer besser passt als Poisson, ist, dass Sie NB als Poisson-Gamma-Verbundverteilung schreiben können. Sie haben also und dann ergibt ein negatives Binomialmodell . Die Addition dieser Parameter ermöglicht es dem Modell nun, den vorhergesagten Mittelwert näher an den beobachteten Wert (wenn , würden Sie , wodurch der Rest reduziert wird)

(y_{i} | λ, v_{i}, r) \sim P o i s s o n (λ v_{i})

$( y_i|\lambda, v_i, r)\sim Poisson (\lambda v_i)$

(v_{i} | λ, r) \sim G a m m a (r, r)

$(v_i|\lambda, r)\sim Gamma(r, r)$

(y_{i} | λ, r) \sim N B (r, \frac{λ}{r + λ})

$( y_i|\lambda, r)\sim NB (r,\frac {\lambda}{r+\lambda} )$

v_{i}

$v_i$

y_{i} > λ

$y_i>\lambda$

v_{i} > 1

$v_i> 1$

— Wahrscheinlichkeitslogik