Warum wird Newtons Methode zur Optimierung der logistischen Regression als iterative, neu gewichtete Fehlerquadrate bezeichnet?

Warum wird Newtons Methode zur Optimierung der logistischen Regression als iterative, neu gewichtete Fehlerquadrate bezeichnet?

Es scheint mir nicht klar zu sein, weil logistischer Verlust und Verlust der kleinsten Quadrate völlig verschiedene Dinge sind.

Zusammenfassung: GLMs werden durch Fisher-Scoring angepasst, das, wie Dimitriy V. Masterov bemerkt, Newton-Raphson mit dem erwarteten Hessischen ist (dh wir verwenden eine Schätzung der Fisher-Informationen anstelle der beobachteten Informationen). Wenn wir die kanonische Verknüpfungsfunktion verwenden, stellt sich heraus, dass das beobachtete Hessische dem erwarteten Hessischen entspricht, so dass NR und Fisher-Wertung in diesem Fall gleich sind. Wie auch immer, wir werden sehen, dass das Fisher-Scoring tatsächlich ein lineares Modell mit gewichteten kleinsten Quadraten anpasst, und der Koeffizient, der daraus geschätzt wird, * konvergiert mit einem Maximum der logistischen Regressionswahrscheinlichkeit. Wir reduzieren nicht nur die Anpassung einer logistischen Regression an ein bereits gelöstes Problem, sondern können auch die lineare Regressionsdiagnose für die endgültige WLS-Anpassung verwenden, um mehr über unsere logistische Regression zu erfahren.

Ich werde mich weiterhin auf die logistische Regression konzentrieren, aber für eine allgemeinere Perspektive auf die maximale Wahrscheinlichkeit bei GLM empfehle ich Abschnitt 15.3 dieses Kapitels, der dies durchläuft und IRLS in einer allgemeineren Umgebung ableitet (ich denke, es ist von John Fox's Applied) Regressionsanalyse und verallgemeinerte lineare Modelle ).

$^*$ siehe Kommentare am Ende

---

Die Wahrscheinlichkeits- und Punktzahlfunktion

Wir werden unsere GLM anpassen, indem wir etwas von der Form iterieren. wobei die Log-Wahrscheinlichkeit ist undl J

$$b^{(m+1)} = b^{(m)} - J^{-1}_{(m)}\nabla \ell(b^{(m)})$$ $\ell$$J_{m}$ entweder das beobachtete oder das erwartete Hessische der logarithmischen Wahrscheinlichkeit ist.

Unsere Verknüpfungsfunktion ist eine Funktion , die den bedingten Mittelwert μ i = E ( y i | x i ) auf unseren linearen Prädiktor abbildet , sodass unser Modell für den Mittelwert g ( μ i ) = x T i β lautet . Sei h die Inverse-Link-Funktion, die den linearen Prädiktor auf den Mittelwert abbildet.$g$$\mu_i = E(y_i | x_i)$$g(\mu_i) = x_i^T\beta$$h$

Für eine logistische Regression haben wir eine Bernoulli - Wahrscheinlichkeit mit unabhängigen Beobachtungen so Unter Derivaten, & part;

$$\ell(b; y) = \sum_{i=1}^n y_i\log h(x_i^T b) + (1 - y_i) \log(1 - h(x_i^Tb)).$$ = n Σ i=1xijh'(x T i b)( y $$\frac{\partial \ell}{\partial b_j} = \sum_{i=1}^n \frac{y_i}{h(x_i^T b)} h'(x_i^T b) x_{ij} - \frac{1 - y_i}{1 - h(x_i^T b)} h'(x_i^T b) x_{ij}$$ =Σixijh'(x T i b $$= \sum_{i=1}^n x_{ij} h'(x_i^T b) \left(\frac{y_i}{h(x_i^T b)} - \frac{1 - y_i}{1 - h(x_i^T b)} \right)$$ $$= \sum_i x_{ij} \frac{h'(x_i^T b)}{h(x_i^T b)(1 - h(x_i^T b))}(y_i - h(x_i^T b)).$$

---

Verwendung des kanonischen Links

Nehmen wir nun an, wir verwenden die kanonische Linkfunktion . Dann ist g - 1 c ( x ) : = h c ( x ) = $g_c = \text{logit}$ soh ' c =hc⋅(1-hc)der dies vereinfacht zu bedeutet ∂$g^{-1}_c(x) := h_c(x) = \frac{1}{1+e^{-x}}$$h_c' = h_c \cdot (1-h_c)$ so ∇l(b;y)=XT(y - y ). Darüber hinaus immer noch mithc, ∂2

$$\frac{\partial \ell}{\partial b_j} = \sum_i x_{ij} (y_i - h_c(x_i^T b))$$ $$\nabla \ell (b; y) = X^T (y - \hat y).$$ $h_c$ $$\frac{\partial^2 \ell}{\partial b_k \partial b_j} = - \sum_i x_{ij} \frac{\partial}{\partial b_k} h_c(x_i^T b) = - \sum_i x_{ij}x_{ik} \left[h_c(x_i^T b) (1 - h_c(x_i^T b))\right].$$

$$W = \text{diag}\left(h_c(x_1^T b)(1 - h_c(x_1^T b)), \dots, h_c(x_n^T b)(1 - h_c(x_n^T b))\right) = \text{diag}\left(\hat y_1(1 - \hat y_1), \dots, \hat y_n (1 - \hat y_n)\right).$$ $$H = -X^TWX$$ $y_i$$E(H) = H$$b$$y$$\hat y_i \in (0,1)$ $-X^TWX$$\hat y_i$$0$$1$$0$$H$

$z = W^{-1}(y - \hat y)$

$$\nabla \ell = X^T(y - \hat y) = X^T W z.$$

$$b^{(m+1)} = b^{(m)} + (X^T W_{(m)} X)^{-1}X^T W_{(m)} z_{(m)}$$ $(X^T W_{(m)} X)^{-1}X^T W_{(m)} z_{(m)}$$\hat \beta$$z_{(m)}$$X$

Einchecken in R:

set.seed(123)
p <- 5
n <- 500
x <- matrix(rnorm(n * p), n, p)
betas <- runif(p, -2, 2)
hc <- function(x) 1 /(1 + exp(-x)) # inverse canonical link
p.true <- hc(x %*% betas)
y <- rbinom(n, 1, p.true)

# fitting with our procedure
my_IRLS_canonical <- function(x, y, b.init, hc, tol=1e-8) {
  change <- Inf
  b.old <- b.init
  while(change > tol) {
    eta <- x %*% b.old  # linear predictor
    y.hat <- hc(eta)
    h.prime_eta <- y.hat * (1 - y.hat)
    z <- (y - y.hat) / h.prime_eta

    b.new <- b.old + lm(z ~ x - 1, weights = h.prime_eta)$coef  # WLS regression
    change <- sqrt(sum((b.new - b.old)^2))
    b.old <- b.new
  }
  b.new
}

my_IRLS_canonical(x, y, rep(1,p), hc)
# x1         x2         x3         x4         x5 
# -1.1149687  2.1897992  1.0271298  0.8702975 -1.2074851

glm(y ~ x - 1, family=binomial())$coef
# x1         x2         x3         x4         x5 
# -1.1149687  2.1897992  1.0271298  0.8702975 -1.2074851 

und sie stimmen zu.

---

Nicht-kanonische Linkfunktionen

$\frac{h'}{h(1-h)} = 1$$\nabla \ell$$H$$E(H)$

$\nabla \ell$

$$\frac{\partial^2 \ell}{\partial b_k \partial b_j} = \sum_i x_{ij} \frac{\partial}{\partial b_k}h'(x_i^T b) \left(\frac{y_i}{h(x_i^T b)} - \frac{1 - y_i}{1 - h(x_i^T b)} \right)$$ $$= \sum_i x_{ij}x_{ik} \left[h''(x_i^T b) \left(\frac{y_i}{h(x_i^T b)} - \frac{1 - y_i}{1 - h(x_i^T b)} \right) - h'(x_i^T b)^2\left(\frac{y_i}{h(x_i^T b)^2} + \frac{1-y_i}{(1-h(x_i^T b))^2} \right)\right]$$

$E(H)$$y_i$$\mu_i=h(x_i^T\beta)$

$$h''(x_i^T b) \left(\frac{h(x_i^T \beta)}{h(x_i^T b)} - \frac{1 - h(x_i^T \beta)}{1 - h(x_i^T b)} \right) - h'(x_i^T b)^2\left(\frac{h(x_i^T \beta)}{h(x_i^T b)^2} + \frac{1-h(x_i^T \beta)}{(1-h(x_i^T b))^2} \right).$$ $\beta$$m$ $b^{(m)}$ $$h''(x_i^T b) \left(\frac{h(x_i^T b)}{h(x_i^T b)} - \frac{1 - h(x_i^T b)}{1 - h(x_i^T b)} \right) - h'(x_i^T b)^2\left(\frac{h(x_i^T b)}{h(x_i^T b)^2} + \frac{1-h(x_i^T b)}{(1-h(x_i^T b))^2} \right)$$ $$= - h'(x_i^T b)^2\left(\frac{1}{h(x_i^T b)} + \frac{1}{1-h(x_i^T b)} \right)$$ $$= -\frac{h'(x_i^T b)^2}{h(x_i^T b)(1-h(x_i^T b))}.$$ $J$ $$J_{jk} = -\sum_i x_{ij}x_{ik} \frac{h'(x_i^T b)^2}{h(x_i^T b)(1-h(x_i^T b))}.$$

$$W^* = \text{diag}\left(\frac{h'(x_1^T b)^2}{h(x_1^T b)(1-h(x_1^T b))} ,\dots, \frac{h'(x_n^T b)^2}{h(x_n^T b)(1-h(x_n^T b))}\right)$$ $h_c' = h_c \cdot (1-h_c)$$W^*$$W$ $$J = -X^TW^*X$$ $\hat E(H)$$H$$i$ $W_{ii}^* > 0$$J$

$$\frac{\partial \ell}{\partial b_j} = \sum_i x_{ij} \frac{h'(x_i^T b)}{h(x_i^T b)(1 - h(x_i^T b))}(y_i - h(x_i^T b))$$ $z^* = D^{-1}(y-\hat y)$$D=\text{diag}\left(h'(x_1^T b), \dots, h'(x_n^T b)\right)$$\nabla \ell = X^TW^*z^*$

$$b^{(m+1)} = b^{(m)} + (X^T W_{(m)}^* X)^{-1}X^T W_{(m)}^* z_{(m)}^*$$

---

$b^{(m+1)}$$b^{(m)}$

$$b^{(m+1)} = b^{(m)} + (X^T W_{(m)}^* X)^{-1}X^T W_{(m)}^* z_{(m)}^*$$ $$= (X^T W_{(m)}^* X)^{-1}\left(X^T W_{(m)}^* Xb^{(m)}+ X^TW^*_{(m)}z_{(m)}^* \right)$$ $$= (X^T W_{(m)}^* X)^{-1}X^TW_{(m)}^*\left(Xb^{(m)}+ z_{(m)}^* \right)$$ $\eta^{(m)} + D^{-1}_{(m)}(y - \hat y^{(m)})$

---

Lassen Sie uns bestätigen, dass dies funktioniert, indem wir eine Probit-Regression mit denselben simulierten Daten wie zuvor durchführen (und dies ist nicht die kanonische Verknüpfung, daher benötigen wir diese allgemeinere Form von IRLS).

my_IRLS_general <- function(x, y, b.init, h, h.prime, tol=1e-8) {
  change <- Inf
  b.old <- b.init
  while(change > tol) {
    eta <- x %*% b.old  # linear predictor
    y.hat <- h(eta)
    h.prime_eta <- h.prime(eta)
    w_star <- h.prime_eta^2 / (y.hat * (1 - y.hat))
    z_star <- (y - y.hat) / h.prime_eta

    b.new <- b.old + lm(z_star ~ x - 1, weights = w_star)$coef  # WLS

    change <- sqrt(sum((b.new - b.old)^2))
    b.old <- b.new
  }
  b.new
}

# probit inverse link and derivative
h_probit <- function(x) pnorm(x, 0, 1)
h.prime_probit <- function(x) dnorm(x, 0, 1)

my_IRLS_general(x, y, rep(0,p), h_probit, h.prime_probit)
# x1         x2         x3         x4         x5 
# -0.6456508  1.2520266  0.5820856  0.4982678 -0.6768585 

glm(y~x-1, family=binomial(link="probit"))$coef
# x1         x2         x3         x4         x5 
# -0.6456490  1.2520241  0.5820835  0.4982663 -0.6768581 

und wieder sind sich die beiden einig.

---

Anmerkungen zur Konvergenz

$J_{(m)}$b.init=rep(1,p)$\hat y_i$$1$$\hat y_i (1 - \hat y_i)$$\hat y_i$$0$$1$