Wann passen Poisson- und negative Binomialregressionen zu denselben Koeffizienten?

Ich habe festgestellt, dass bei R-, Poisson- und negativen Binomial- (NB-) Regressionen für kategoriale, aber nicht kontinuierliche Prädiktoren immer dieselben Koeffizienten zu passen scheinen.

Beispiel: Hier ist eine Regression mit einem kategorialen Prädiktor:

data(warpbreaks)
library(MASS)

rs1 = glm(breaks ~ tension, data=warpbreaks, family="poisson")
rs2 = glm.nb(breaks ~ tension, data=warpbreaks)

#compare coefficients
cbind("Poisson"=coef(rs1), "NB"=coef(rs2))

Hier ist ein Beispiel mit einem kontinuierlichen Prädiktor, bei dem Poisson und NB unterschiedliche Koeffizienten haben:

data(cars)
rs1 = glm(dist ~ speed, data=cars, family="poisson")
rs2 = glm.nb(dist ~ speed, data=cars)

#compare coefficients
cbind("Poisson"=coef(rs1), "NB"=coef(rs2))

(Natürlich zählen diese Daten nicht und die Modelle sind nicht aussagekräftig ...)

Dann habe ich den Prädiktor in einen Faktor umcodiert und die beiden Modelle passen wieder zu den gleichen Koeffizienten:

library(Hmisc)
speedCat = cut2(cars$speed, g=5) 
#you can change g to get a different number of bins

rs1 = glm(cars$dist ~ speedCat, family="poisson")
rs2 = glm.nb(cars$dist ~ speedCat)

#compare coefficients
cbind("Poisson"=coef(rs1), "NB"=coef(rs2))

$b=0.883$$b=0.881$$\alpha$$1/\theta$

summary(rs2)$\theta$

Warum sind die Koeffizienten genau gleich? Und warum nur für kategoriale Prädiktoren?

---

Bearbeiten Sie # 1

Hier ist ein Beispiel mit zwei nicht orthogonalen Prädiktoren. In der Tat sind die Koeffizienten nicht mehr dieselben:

data(cars)

#make random categorical predictor
set.seed(1); randomCats1 = sample( c("A","B","C"), length(cars$dist), replace=T)
set.seed(2); randomCats2 = sample( c("C","D","E"), length(cars$dist), replace=T)

rs1 = glm(dist ~ randomCats1 + randomCats2, data=cars, family="poisson")
rs2 = glm.nb(dist ~ randomCats1 + randomCats2, data=cars)

#compare coefficients
cbind("Poisson"=coef(rs1), "NB"=coef(rs2))

Das Einbeziehen eines weiteren Prädiktors bewirkt, dass die Modelle unterschiedliche Koeffizienten anpassen, auch wenn der neue Prädiktor kontinuierlich ist. Hat das etwas mit der Orthogonalität der Dummy-Variablen zu tun, die ich in meinem ursprünglichen Beispiel erstellt habe?

rs1 = glm(dist ~ randomCats1 + speed, data=cars, family="poisson")
rs2 = glm.nb(dist ~ randomCats1 + speed, data=cars)

#compare coefficients
cbind("Poisson"=coef(rs1), "NB"=coef(rs2))

Sie haben eine intime, aber generische Eigenschaft von GLMs entdeckt, die mit maximaler Wahrscheinlichkeit passt . Das Ergebnis fällt aus, wenn man den einfachsten Fall von allen betrachtet: Einen einzelnen Parameter an eine einzelne Beobachtung anpassen!

$\hat\mu_j = \bar y_j$$j$

$\log$

Wenn wir an einer Parametrisierung mit mehr Struktur interessiert sind oder die von stetigen Prädiktoren abhängt, wird die angenommene Fehlerstruktur aufgrund der Mittelwert-Varianz-Beziehung der Verteilung relevant, da sie sich auf die Parameter und die nichtlineare Funktion bezieht, die zur Modellierung der Bedingung verwendet werden meint.

GLMs und exponentielle Dispersionsfamilien: Crash-Kurs

$$\log f(y;\,\theta,\nu) = \frac{\theta y - b(\theta)}{\nu} + a(y,\nu) \>.$$

$\theta$$\nu$$\nu$

$\theta$$y = b'(\hat\theta)$$\nu$$\bar y = b'(\hat\theta)$

$\theta$

$$\frac{\partial}{\partial \theta} \mathbb E \log f(Y;\theta,\nu) = \mathbb E \frac{\partial}{\partial \theta} \log f(Y;\theta,\nu) = 0 \>.$$ $b'(\theta) = \mathbb E Y = \mu$

$\bar y = \hat\mu$

$\mu_i$$\mu_i = g^{-1}(\mathbf x_i^T \beta)$$g$$\mathbf x_i$$j$$\mu_i = g(\beta_j)$$\beta_j$

Was ist so anders an kontinuierlichen Prädiktoren?

Wenn die Prädiktoren stetig oder kategorisch sind, aber nicht auf eine orthogonale Form reduziert werden können, wird die Wahrscheinlichkeit nicht länger in einzelne Terme mit einem separaten Mittelwert in Abhängigkeit von einem separaten Parameter einbezogen. An diesem Punkt wird die Fehlerstruktur und Link - Funktion können ins Spiel kommen.

$$\sum_{i=1}^n \frac{(y_i - \mu_i)x_{ij}}{\sigma_i^2}\frac{\partial \mu_i}{\partial \lambda_i} = 0\>,$$ $j = 1,\ldots,p$$\lambda_i = \mathbf x_i^T \beta$$\beta$$\nu$$\mu_i = g(\lambda_i) = g(\mathbf x_i^T \beta)$$\sigma_i^2$

Auf diese Weise werden die Verbindungsfunktion und das angenommene Fehlermodell für die Schätzung relevant.

Beispiel: Das Fehlermodell spielt (fast) keine Rolle

$k = 6$

$\log$

Aus der Tabelle können wir ersehen, dass die Parameterschätzungen identisch sind , obwohl einige dieser GLMs für diskrete Daten und andere für kontinuierliche und einige für nichtnegative Daten sind, andere nicht.

      negbin  poisson gaussian invgauss    gamma
XX1 4.234107 4.234107 4.234107 4.234107 4.234107
XX2 4.790820 4.790820 4.790820 4.790820 4.790820
XX3 4.841033 4.841033 4.841033 4.841033 4.841033

$0$

Beispiel: Die Linkfunktion spielt (fast) keine Rolle

$\log$$\log(\hat \beta)$$\log(\hat \beta^2)$$\hat\beta$

> coefs.po
         log       id     sqrt
XX1 4.234107 4.234107 4.234107
XX2 4.790820 4.790820 4.790820
XX3 4.841033 4.841033 4.841033

Die Einschränkung in der Überschrift bezieht sich lediglich auf die Tatsache , dass die rohen Schätzungen mit der Link - Funktion variieren, aber die implizierten mittleren Parameterschätzungen nicht.

R-Code

# Warning! This code is a bit simplified for compactness.
library(MASS)
n <- 5
m <- 3
set.seed(17)
b <- exp(5+rnorm(m))
k <- 6

# Random negbin data; orthogonal factors
y <- rnbinom(m*n, size=k, mu=rep(b,each=n))
X <- factor(paste("X",rep(1:m,each=n),sep=""))

# Fit a bunch of GLMs with a log link
con <- glm.control(maxit=100)
mnb <- glm(y~X+0, family=negative.binomial(theta=2))
mpo <- glm(y~X+0, family="poisson")
mga <- glm(y~X+0, family=gaussian(link=log), start=rep(1,m), control=con)
miv <- glm(y~X+0, family=inverse.gaussian(link=log), start=rep(2,m), control=con)
mgm <- glm(y~X+0, family=Gamma(link=log), start=rep(1,m), control=con)    
coefs <- cbind(negbin=mnb$coef, poisson=mpo$coef, gaussian=mga$coef
                   invgauss=miv$coef, gamma=mgm$coef)

# Fit a bunch of Poisson GLMs with different links.
mpo.log  <- glm(y~X+0, family=poisson(link="log"))
mpo.id   <- glm(y~X+0, family=poisson(link="identity"))
mpo.sqrt <- glm(y~X+0, family=poisson(link="sqrt"))   
coefs.po <- cbind(log=mpo$coef, id=log(mpo.id$coef), sqrt=log(mpo.sqrt$coef^2))

Um zu sehen, was hier vor sich geht, ist es sinnvoll, zunächst die Regression ohne den Intercept durchzuführen, da ein Intercept in einer kategorialen Regression mit nur einem Prädiktor bedeutungslos ist:

> rs1 = glm(breaks ~ tension-1, data=warpbreaks, family="poisson")
> rs2 = glm.nb(breaks ~ tension-1, data=warpbreaks)

Da Poisson- und negative binomiale Regressionen das Protokoll des Mittelwertparameters angeben, erhalten Sie für die kategoriale Regression durch Exponentiierung der Koeffizienten den tatsächlichen Mittelwertparameter für jede Kategorie:

>  exp(cbind("Poisson"=coef(rs1), "NB"=coef(rs2)))
          Poisson       NB
tensionL 36.38889 36.38889
tensionM 26.38889 26.38889
tensionH 21.66667 21.66667

Diese Parameter entsprechen dem tatsächlichen Mittelwert über die verschiedenen Kategoriewerte:

> with(warpbreaks,tapply(breaks,tension,mean))
       L        M        H 
36.38889 26.38889 21.66667 

$\lambda$

$\lambda$

$\lambda$$\theta$$\theta$$\lambda$

$$\begin{align} L(X,\lambda,\theta) &= \prod \left(\frac{\theta}{\lambda+\theta}\right)^\theta \frac{\Gamma(\theta + x_i)}{x_i!\Gamma(\theta)}\left(\frac{\lambda}{\lambda+\theta}\right)^{x_i}\\ \log L(X,\lambda,\theta) &= \sum\theta\left(\text{log}\theta-\text{log}(\lambda+\theta)\right) +x_i\left(\text{log}\lambda-\text{log}(\lambda+\theta)\right) +\log\left(\frac{\Gamma(\theta + x_i)}{x_i!\Gamma(\theta)}\right)\\ \frac{d}{d\lambda}\log L(X,\lambda,\theta) &= \sum \frac{x_i}{\lambda}-\frac{\theta+x_i}{\lambda+\theta} =n\left(\frac{\bar{x}}{\lambda}-\frac{\bar{x}+\theta}{\lambda+\theta}\right), \end{align}$$ $\lambda=\bar{x}$

$\text{log}(\lambda)$$\lambda$

$\lambda$$\lambda$$2$$5$$10$$5*5=25$$\lambda$$11$