Wie berechnet man die Hutmatrix für die logistische Regression in R?

Ich möchte die Hutmatrix direkt in R für ein Logit-Modell berechnen. Nach Long (1997) ist die Hutmatrix für Logit-Modelle definiert als:

H = V X (X^{'} V X)^{- 1} X^{'} V

$H = VX(X'VX)^{-1} X'V$

X ist der Vektor unabhängiger Variablen und V ist eine Diagonalmatrix mit auf der Diagonale. $\sqrt{\pi(1-\pi)}$

Ich benutze die optimFunktion, um die Wahrscheinlichkeit zu maximieren und den Hessischen abzuleiten. Meine Frage ist also: Wie berechne ich in R? $V$

Hinweis: Meine Wahrscheinlichkeitsfunktion sieht folgendermaßen aus:

loglik <-  function(theta,x,y){
y <- y
x <- as.matrix(x)
beta <- theta[1:ncol(x)]
loglik <- sum(-y*log(1 + exp(-(x%*%beta))) - (1-y)*log(1 + exp(x%*%beta)))
return(-loglik)
}

Und ich füttere dies der Optimierungsfunktion wie folgt:

logit <- optim(c(1,1),loglik, y = y, x = x, hessian = T)

Wobei x eine Matrix unabhängiger Variablen ist und y ein Vektor mit der abhängigen Variablen ist.

Hinweis: Ich weiß, dass es dafür Dosenverfahren gibt, aber ich muss es von Grund auf neu machen

r logistic deviance

— Thomas Jensen
quelle

Auf welche Weise verwenden Sie Optim (mit welchen Optionen, mit oder ohne Bereitstellung einer Verlaufsfunktion usw.)? Die logistische Regression ist ein glattes konvexes Problem. Es ist leicht mit Newtons Methode oder ähnlichem zu lösen. In der Tat, eine Schätzung der Kovarianzmatrix zu bekommen, Sie müssen tun (etwas in der Nähe) , um diese.

— Kardinal

Ich habe die Info zum Beitrag hinzugefügt

— Thomas Jensen

$\pi$

π = \frac{1}{1 + \exp (- X β)}

$\pi=\frac{1}{1+\exp(-X\beta)}$

$V$

pi <- 1/(1+exp(-X%*%beta))
v <- sqrt(pi*(1-pi))

Das Multiplizieren mit der Diagonalmatrix von links bedeutet nun, dass jede Zeile mit dem entsprechenden Element aus der Diagonale multipliziert wird. Was in R durch einfache Multiplikation erreicht werden kann:

VX <- X*v

Dann Hkann folgendermaßen berechnet werden:

H <- VX%*%solve(crossprod(VX,VX),t(VX))

$V$ $H$

H = V X (X^{'} V^{2} X)^{- 1} X^{'} V

$H=VX(X'V^2X)^{-1}X'V$

Der Beispielcode funktioniert für diese Formel.

— mpiktas
quelle

Danke mpiktas, aber ich bin etwas festgefahren, wie man V berechnet. Ist V einfach die Diagonale der Kovarianzmatrix?

— Thomas Jensen

π_{i}

$\pi_i$

{\hat{π}}_{i}

$\hat{\pi}_i$

i

$i$

Ok, also berechne ich für jede Zeile in den Daten einfach die vorhergesagte Wahrscheinlichkeit und multipliziere die Quadratwurzel dieses Vektors mit der Matrix unabhängiger Variablen?

— Thomas Jensen

@ Thomas, ja, so wird es in meinem Code gemacht. Sie können anhand eines Dummy-Beispiels überprüfen, ob es wirklich funktioniert.

— mpiktas

V^{2}

$V^2$

X

$X$

Y

$Y$

β

$\beta$