Welche nützlichen Eigenschaften hat die kanonische Verknüpfungsfunktion?

8

Hier studiere ich also verallgemeinerte lineare Modelle. Ich weiß, dass diese Frage ziemlich naiv und einfach ist, aber ich weiß nicht genau, warum die kanonische Linkfunktion so nützlich ist. Könnte mir jemand eine Intuition zu diesem Problem geben?

— user1337
quelle

8

Ich weiß, dass diese Frage ziemlich naiv und einfach ist, aber ich weiß nicht genau, warum die kanonische Linkfunktion so nützlich ist

Ist es wirklich so nützlich? Eine kanonische Verknüpfungsfunktion ist meist eine mathematische Eigenschaft. Es vereinfacht die Mathematik etwas, aber bei der Modellierung sollten Sie auf jeden Fall die Verknüpfungsfunktion verwenden, die wissenschaftlich sinnvoll ist.

Welche zusätzlichen Eigenschaften hat eine kanonische Verknüpfungsfunktion?

Dies führt zur Existenz ausreichender Statistiken. Das könnte vielleicht eine etwas effizientere Schätzung bedeuten, aber moderne Software (wie glmin R) scheint kanonische Links nicht anders zu behandeln als andere Links.
Es vereinfacht einige Formeln, so dass theoretische Entwicklungen erleichtert werden. Viele schöne mathematische Eigenschaften, siehe Was ist der Unterschied zwischen einer "Link-Funktion" und einer "kanonischen Link-Funktion" für GLM .

Die Vorteile scheinen also meist mathematisch und algorithmisch zu sein, nicht wirklich statistisch.

Einige weitere Details: Sei unabhängige Beobachtungen aus dem Modell der exponentiellen Dispersionsfamilie mit Erwartung und linearem Prädiktor mit Kovariate Vektor . Die Verknüpfungsfunktion ist kanonisch, wenn . In diesem Fall kann die Wahrscheinlichkeitsfunktion geschrieben werden als und durch den Faktorisierungssatz können wir daraus schließen $Y_1, \dotsc, Y_n$

f_{Y} (y; θ, ϕ) = \exp {(y θ - b (θ)) / a (ϕ) + c (y, ϕ)}

$f_Y(y;\theta,\phi)=\exp\left\{(y\theta-b(\theta))/a(\phi) + c(y,\phi)\right\}$

E Y_{i} = μ_{i}

$\DeclareMathOperator{\E}{\mathbb{E}} \E Y_i=\mu_i$

η_{i} = x_{i}^{T} β

$\eta_i = x_i^T \beta$

x_{i}

$x_i$

η_{i} = θ_{i}

$\eta_i=\theta_i$

L (β; ϕ) = \exp {\sum_{i} \frac{y_{i} x_{i}^{T} β - b (x_{i}^{T} β)}{a (ϕ)} + \sum_{i} c (y_{i}, ϕ)}

$\mathcal{L}(\beta; \phi)=\exp\left\{ \sum_i \frac{y_i x_i^T \beta -b(x_i^T \beta)}{a(\phi)}+\sum_i c(y_i,\phi)\right\}$

\sum_{i} x_{i} y_{i}

$\sum_i x_i y_i$ ist ausreichend für .

β

$\beta$

Ohne auf Details einzugehen, werden die für IRLS benötigten Gleichungen vereinfacht. Ebenso scheint diese Google-Suche meist kanonische Links zu finden, die im Zusammenhang mit Vereinfachungen erwähnt wurden, und keine statistischen Gründe mehr.

— kjetil b halvorsen
quelle

Es ist vielleicht mathematisch nützlich.

— AdamO

Ja, das habe ich versucht zu sagen!

— kjetil b halvorsen

7

Die kanonische Verknüpfungsfunktion beschreibt die Mittelwert-Varianz-Beziehung in einem GLM. Zum Beispiel hat eine binomische Zufallsvariable die Verknüpfungsfunktion wobei ein linearer Prädiktor . Beachten Sie, dass die geeignete Mittelwert-Varianz-Beziehung für eine Bernoulli-Zufallsvariable ist. Gleiches gilt für Poisson-Zufallsvariablen, bei denen die inverse Verknüpfungsfunktion und wobei in einer Poisson-Zufallsvariablen die Varianz ist der Mittelwert. $\mu = \exp( \nu) /(1-\exp(\nu))$ $\nu$ $\mathbf{X}^T\beta$ $\frac{\partial }{\partial \nu} \mu = \mu(1-\mu)$ $\mu = \exp(\nu)$ $\frac{\partial }{\partial \nu} \mu = \mu$

Das verallgemeinerte lineare Modell löst eine Schätzgleichung der Form:

S (β) = D V^{- 1} (Y - g (X^{T} β))

$S(\beta) = D V^{-1} (Y - g(\mathbf{X}^T\beta))$

Dabei ist und . Wenn die Verknüpfung kanonisch ist, ist daher und die Schätzfunktion ist: $D = \frac{\partial}{\partial \beta} g(\mathbf{X}^T\beta)$ $V=\text{var}(Y)$ $D = V$

S (β) = X^{T} (Y - g (X^{T} β))

$S(\beta) = \mathbf{X}^{T}(Y - g(\mathbf{X}^T\beta))$

Wie in Wedderburns 1976 veröffentlichtem Artikel über Quasilikelihood festgestellt wurde, hat die kanonische Verknüpfung den Vorteil, dass erwartete und beobachtete Informationen gleich sind und dass iterativ neu gewichtete kleinste Quadrate Newton-Raphson entsprechen, was die Schätzverfahren und die Varianzschätzung vereinfacht.

— AdamO
quelle