Herleitung der Normalisierungstransformation für GLMs

$\newcommand{\E}{\mathbb{E}}$ Wie lautet die -Normalisierungstransformation für die Exponentialfamilie? abgeleitet? $A(\cdot) = \displaystyle\int\frac{du}{V^{1/3}(\mu)}$

Genauer gesagt : Ich habe versucht, der Taylor-Erweiterungsskizze auf Seite 3, Folie 1, zu folgen, habe aber mehrere Fragen. Mit aus einer Exponentialfamilie, Transformation und \ kappa _i, die das i ^ {th} -Kumulat bezeichnet, argumentieren die Folien, dass: \ kappa _3 (h (\ bar {X})) \ approx h '(\ mu) ^ 3 \ frac {\ kappa _3 (\ bar {X})} {N ^ 2} + 3h '(\ mu) ^ 2h' '(\ mu) \ frac {\ sigma ^ 4} {N} + O (N ^ {- 3}), und es bleibt einfach h (X) zu finden, so dass das obige zu 0 ausgewertet wird.$X$$h(X)$$\kappa _i$$i^{th}$

$$\kappa _3(h(\bar{X})) \approx h'(\mu)^3\frac{\kappa _3(\bar{X})}{N^2} + 3h'(\mu)^2h''(\mu)\frac{\sigma^4}{N} + O(N^{-3}),$$ $h(X)$

1. Meine erste Frage betrifft die Arithmetik: Meine Taylor-Expansion hat unterschiedliche Koeffizienten, und ich kann nicht rechtfertigen, dass sie viele der Terme fallengelassen hat.

   $$\begin{align} \text{Since }h(x) &\approx h(\mu) + h'(\mu)(x - \mu) + \frac{h''(x)}{2}(x - \mu)^2\text{, we have:} \\ h(\bar{X}) - h(u) &\approx h'(u))(\bar{X} - \mu) + \frac{h''(x)}{2}(\bar{X} - \mu)^2 \\ \E\left(h(\bar{X}) - h(u)\right)^3 &\approx h'(\mu)^3 \E(\bar{X}-\mu)^3 + \frac{3}{2}h'(\mu)^2h''(\mu) \E(\bar{X} - \mu)^4 + \\ &\quad \frac{3}{4}h'(\mu)h''(\mu)^2 \E(\bar{X}-\mu)^5 + \frac{1}{8}h''(\mu)^3 \E(\bar{X} - \mu)^6. \end{align}$$

   Ich kann zu etwas Ähnlichem gelangen, indem ich die zentralen Momente durch ihre kumulativen Entsprechungen ersetze, aber es summiert sich immer noch nicht.

2. Die zweite Frage: Warum beginnt die Analyse mit $\bar{X}$ anstelle von $X$ , der Menge, um die wir uns eigentlich kümmern?

Die Folien, auf die Sie verlinken, sind etwas verwirrend, lassen Schritte aus und machen ein paar Tippfehler, aber letztendlich sind sie korrekt. Es wird hilfreich sein, zuerst Frage 2 zu beantworten, dann Frage 1 und schließlich die Symmetrisierungstransformation abzuleiten. .$A(u) = \int_{-\infty}^u \frac{1}{[V(\theta)]^{1/3}} d\theta$

Frage 2. Wir analysieren als Mittelwert einer Stichprobe der Größe von iid Zufallsvariablen . Dies ist eine wichtige Größe, da es in der Wissenschaft immer wieder vorkommt, die gleiche Verteilung abzutasten und den Mittelwert zu bilden. Wir wollen wissen, wie nahe am wahren Mittelwert . Der zentrale Grenzwertsatz besagt, dass er gegen als konvergiert, aber wir möchten die Varianz und die Schiefe von .ˉ X NX1,. . . ,XN ˉ X & mgr;& mgr;N→∞ ˉ $\bar{X}$$N$$X_1, ..., X_N$$\bar{X}$$\mu$$\mu$$N \to \infty$$\bar{X}$

Frage 1. Ihre Taylorreihenannäherung ist nicht falsch, aber wir müssen sorgfältig darauf achten, vs. und Potenzen von zu verfolgen , um zu derselben Schlussfolgerung wie die Folien zu gelangen. Wir beginnen mit den Definitionen von und den zentralen Momenten von und leiten die Formel für :≤ X XiN ≤ X Xiκ3(h( ≤ X )$\bar{X}$$X_i$$N$$\bar{X}$$X_i$$\kappa_3(h(\bar{X}))$

$\bar{X} = \frac{1}{N}\sum_{i=1}^N X_i$

$\mathbb{E}[X_i] = \mu$

$V(X_i) = \mathbb{E}[(X_i - \mu)^2] = \sigma^2$

$\kappa_3(X_i) = \mathbb{E}[(X_i - \mu)^3]$

Nun die zentralen Momente von :$\bar{X}$

$\mathbb{E}[\bar{X}] = \frac{1}{N}\sum_{i=1}^N \mathbb{E}[X_i] = \frac{1}{N}(N\mu) = \mu$

$\begin{align} V(\bar{X}) &=\mathbb{E}[(\bar{X} - \mu)^2]\\ &=\mathbb{E}[\Big((\frac{1}{N}\sum_{i=1}^N X_i) - \mu\Big)^2]\\ &=\mathbb{E}[\Big(\frac{1}{N}\sum_{i=1}^N (X_i - \mu)\Big)^2]\\ &=\frac{1}{N^2}\Big(N\mathbb{E}[(X_i - \mu)^2] + N(N-1)\mathbb{E}[X_i - \mu]\mathbb{E}[X_j - \mu]\Big)\\ &= \frac{1}{N}\sigma^2 \end{align}$

Der letzte Schritt folgt, da und . Dies war möglicherweise nicht die einfachste Herleitung von , aber es ist der gleiche Vorgang, den wir müssen, um und , wobei wir ein Produkt einer Summation auflösen und die Anzahl der Terme mit Potenzen verschiedener Variablen zählen. Im obigen Fall gab es Terme der Form und Terme der Form .$\mathbb{E}[X_i - \mu] = 0$$\mathbb{E}[(X_i - \mu)^2] = \sigma^2$$V(\bar{X})$$\kappa_3(\bar{X})$$\kappa_3(h(\bar{X}))$$N$$(X_i - \mu)^2$$N(N-1)$$(X_i - \mu)(X_j - \mu)$

$\begin{align} \kappa_3(\bar{X}) &= \mathbb{E}[(\bar{X}-\mu)^3)]\\ &= \mathbb{E}[\Big((\frac{1}{N}\sum_{i=1}^N X_i) - \mu\Big)^3]\\ &= \mathbb{E}[\Big(\frac{1}{N}\sum_{i=1}^N (X_i - \mu)\Big)^3]\\ &= \frac{1}{N^3}\Big(N\mathbb{E}[(X_i - \mu)^3] + 3N(N-1)\mathbb{E}[(X_i - \mu)\mathbb{E}[(X_j - \mu)^2]+N(N-1)(N-2)\mathbb{E}[(X_i - \mu)]\mathbb{E}[(X_j - \mu)]\mathbb{E}[(X_k - \mu)]\\ &= \frac{1}{N^2}\mathbb{E}[(X_i - \mu)^3]\\ &= \frac{\kappa_3(X_i)}{N^2} \end{align}$

Als Nächstes werden wir in einer Taylor-Reihe wie folgt erweitern :$h(\bar{X})$

$h(\bar{X}) = h(\mu) + h'(\mu)(\bar{X} - \mu) + \frac{1}{2}h''(\mu)(\bar{X}-\mu)^2 + \frac{1}{3}h'''(\mu)(\bar{X}-\mu)^3 + ...$

$\begin{align} \mathbb{E}[h(\bar{X})] &= h(\mu) + h'(\mu)\mathbb{E}[\bar{X} - \mu] + \frac{1}{2}h''(\mu)\mathbb{E}[(\bar{X}-\mu)^2] + \frac{1}{3}h'''(\mu)\mathbb{E}[(\bar{X}-\mu)^3] + ...\\ &= h(\mu) + \frac{1}{2}h''(\mu)\frac{\sigma^2}{N} + \frac{1}{3}h'''(\mu)\frac{\kappa_3(X_i)}{N^2} + ...\\ \end{align}$

Mit etwas mehr Aufwand können Sie beweisen, dass die restlichen Begriffe . Schließlich ist , (was nicht mit identisch ist ), führen wir erneut eine ähnliche Berechnung durch:$O(N^{-3})$$\kappa_3(h(\bar{X})) = \mathbb{E}[(h(\bar{X})-\mathbb{E}[h(\bar{X})])^3]$$\mathbb{E}[(h(\bar{X})-h(\mu))^3]$

$\begin{align} \kappa_3(h(\bar{X})) &= \mathbb{E}[(h(\bar{X})-\mathbb{E}[h(\bar{X})])^3]\\ &=\mathbb{E}\Big[\Big(h(\mu) + h'(\mu)(\bar{X} - \mu) + \frac{1}{2}h''(\mu)(\bar{X}-\mu)^2 + O((\bar{X}-\mu)^3) - h(\mu) - \frac{1}{2}h''(\mu)\frac{\sigma^2}{N} - O(N^{-2})\Big)^3\Big] \end{align}$

Wir sind nur an den Begriffen interessiert, die zu der Reihenfolge , und mit zusätzlicher Arbeit könnten Sie zeigen, dass Sie die Begriffe " nicht benötigen. "oder" ", bevor die dritte Potenz genommen wird, da sie nur die Reihenfolge . Vereinfacht gesagt, bekommen wir$O(N^{-2})$$O((\bar{X}-\mu)^3)$$- O(N^{-2})$$O(N^{-3})$

$\begin{align} \kappa_3(h(\bar{X})) &= \mathbb{E}\Big[\Big(h'(\mu)(\bar{X} - \mu) + \frac{1}{2}h''(\mu)(\bar{X}-\mu)^2 - \frac{1}{2}h''(\mu)\frac{\sigma^2}{N})\Big)^3\Big]\\ &=\mathbb{E}\Big[h'(\mu)^3(\bar{X} - \mu)^3 + \frac{1}{8}h''(\mu)^3(\bar{X}-\mu)^6 - \frac{1}{8}h''(\mu)^3\frac{\sigma^6}{N^3} + \frac{3}{2}h'(\mu)^2h''(\mu)(\bar{X}-\mu)^4 + \frac{3}{4}h'(\mu)h''(\mu)(\bar{X}-\mu)^5 - \frac{3}{2}h'(\mu)^2h''(\mu)(\bar{X} - \mu)^2\frac{\sigma^2}{N} + O(N^{-3})\Big] \end{align}$

Ich habe einige Begriffe weggelassen, die in diesem Produkt offensichtlich lauten. Sie müssen sich selbst davon überzeugen, dass die Begriffe und lauten auch. Jedoch,$O(N^{-3})$$\mathbb{E}[(\bar{X}-\mu)^5]$$\mathbb{E}[(\bar{X}-\mu)^6]$$O(N^{-3})$

$\begin{align} \mathbb{E}[(\bar{X}-\mu)^4] &= \mathbb{E}[\frac{1}{N^4}\Big(\sum_{i=1}^N(\bar{X}-\mu)\Big)^4]\\ &=\frac{1}{N^4}\Big(N\mathbb{E}[(X_i-\mu)^4] + 3N(N-1)\mathbb{E}[(X_i-\mu)^2]\mathbb{E}[(X_j-\mu)^2] + 0\Big)\\ &=\frac{3}{N^2}\sigma^4 + O(N^{-3}) \end{align}$

Dann verteilt die Erwartung auf unserer Gleichung für , haben wir$\kappa_3(h(\bar{X}))$

$\begin{align}\kappa_3(h(\bar{X})) &= h'(\mu)^3\mathbb{E}[(\bar{X} - \mu)^3] + \frac{3}{2}h'(\mu)^2h''(\mu)\mathbb{E}[(\bar{X}-\mu)^4] - \frac{3}{2}h'(\mu)^2h''(\mu)\mathbb{E}[(\bar{X} - \mu)^2]\frac{\sigma^2}{N} + O(N^{-3})\\ &= h'(\mu)^3\frac{\kappa_3(X_i)}{N^2} + \frac{9}{2}h'(\mu)^2h''(\mu)\frac{\sigma^4}{N^2} - \frac{3}{2}h'(\mu)^2h''(\mu)\frac{\sigma^4}{N^2} + O(N^{-3})\\ &=h'(\mu)^3\frac{\kappa_3(X_i)}{N^2} + 3h'(\mu)^2h''(\mu)\frac{\sigma^4}{N^2} + O(N^{-3}) \end{align}$

Damit ist die Herleitung von . Nun leiten wir endlich die Symmetrisierungstransformation .$\kappa_3(h(\bar{X}))$$A(u) = \int_{-\infty}^u \frac{1}{[V(\theta)]^{1/3}} d\theta$

Für diese Transformation ist es wichtig, dass aus einer Exponentialfamilienverteilung und insbesondere einer natürlichen Exponentialfamilie (oder sie wurde in diese Verteilung transformiert) der Form$X_i$$f_{X_i}(x;\theta) = h(x)\exp(\theta x - b(\theta))$

In diesem Fall sind die Kumulanten der Verteilung gegeben durch . So , und . Wir können den Parameter als eine Funktion von ; schreiben, indem wir einfach die Umkehrung von und schreiben . Dann$\kappa_k = b^{(k)}(\theta)$$\mu = b'(\theta)$$\sigma^2 = V(\theta) = b''(\theta)$$\kappa_3 = b'''(\theta)$$\theta$$\mu$$b'$$\theta(\mu) = (b')^{-1}(\mu)$

$\theta'(\mu) = \frac{1}{b''((b')^{-1}(\mu))} = \frac{1}{b''(\theta))} = \frac{1}{\sigma^2}$

Als nächstes können wir die Varianz als Funktion von schreiben und diese Funktion aufrufen :$\mu$$\bar{V}$

$\bar{V}(\mu) = V(\theta(\mu)) = b''(\theta(\mu))$

Dann

$\frac{d}{d\mu}\bar{V}(\mu) = V'(\theta(\mu))\theta'(\mu) = b'''(\theta)\frac{1}{\sigma^2} = \frac{\kappa_3}{\sigma^2}$

Also als eine Funktion von , .$\mu$$\kappa_3(\mu) = \bar{V}'(\mu)\bar{V}(\mu)$

Nun wollen wir für die Symmetrisierungstransformation die Schiefe von verringern, indem wir , so daß ist . Also wollen wir$h(\bar{X})$$h'(\mu)^3\frac{\kappa_3(X_i)}{N^2} + 3h'(\mu)^2h''(\mu)\frac{\sigma^4}{N^2} = 0$$h(\bar{X})$$O(N^{-3})$

$h'(\mu)^3\kappa_3(X_i) + 3h'(\mu)^2h''(\mu)\sigma^4 = 0$

Wenn wir unsere Ausdrücke für und als Funktionen von , haben wir:$\sigma^2$$\kappa_3$$\mu$

$h'(\mu)^3\bar{V}'(\mu)\bar{V}(\mu) + 3h'(\mu)^2h''(\mu)\bar{V}(\mu)^2 = 0$

Also , was zu .$h'(\mu)^3\bar{V}'(\mu) + 3h'(\mu)^2h''(\mu)\bar{V}(\mu) = 0$$\frac{d}{d\mu}(h'(\mu)^3\bar{V}(\mu)) = 0$

Eine Lösung für diese Differentialgleichung lautet:

$h'(\mu)^3\bar{V}(\mu) = 1$ ,

$h'(\mu) = \frac{1}{[\bar{V}(\mu)]^{1/3}}$

Also ist für jede Konstante, . Dies gibt uns die Symmetrisierungstransformation , wobei die Varianz als ist eine Funktion des Mittelwerts in einer natürlichen Exponentialfamilie.$h(\mu) = \int_c^\mu \frac{1}{[\bar{V}(\theta)]^{1/3}} d\theta$$c$$A(u) = \int_{-\infty}^u \frac{1}{[V(\theta)]^{1/3}} d\theta$$V$

$\blacksquare$ 1.Warum kann ich nicht das gleiche Ergebnis indem ich die nichtzentralen Momente approximiere und dann die zentralen Momente Verwendung der approximierenden nichtzentralen Momente?$\mathbb{E}\bar{X}^k$$\mathbb{E}(\bar{X}-\mathbb{E}\bar{X})^k$

Weil Sie die Ableitung beliebig ändern und den wichtigen Restbegriff fallen lassen. Wenn Sie mit der großen O-Notation und den relevanten Ergebnissen nicht vertraut sind, ist [Casella & Lehmann] eine gute Referenz.

$$h(\bar{X}) - h(u) \approx h'(u)(\bar{X} - \mu) + \frac{h''(x)}{2}(\bar{X} - \mu)^2 +O[(\bar{X} - \mu)^3]$$

$$\mathbb{E}[h(\bar{X}) - h(u)] \approx h'(u)\mathbb{E}(\bar{X} - \mu) + \frac{h''(x)}{2}\mathbb{E}(\bar{X} - \mu)^2+(?)$$

Aber selbst wenn Sie den Rückstand nicht löschen, indem Sie behaupten, dass Sie immer (was nicht legal ist ...), führen Sie den folgenden Schritt aus: besagt, dass$N\rightarrow \infty$

$$\E\left(h(\bar{X}) - h(u)\right)^3 \approx h'(\mu)^3 \E(\bar{X}-\mu)^3 + \frac{3}{2}h'(\mu)^2h''(\mu) \E(\bar{X} - \mu)^4 + \frac{3}{4}h'(\mu)h''(\mu)^2 \E(\bar{X}-\mu)^5 + \frac{1}{8}h''(\mu)^3 \E(\bar{X} - \mu)^6. (1)$$ $$\int [h(x)-h(x_0)]^3dx=\int [h'(x_0)(x-x_0)+\frac{1}{2}h''(x_0)(x-x_0)^2+O((x-x_0)^3)]^3dx=(1)$$

Wenn dies immer noch nicht klar ist, können wir die Algebra der Erweiterung des Integranden als sehen

$[h'(x_0)(x-x_0)+\frac{1}{2}h''(x_0)(x-x_0)^2+O((x-x_0)^3)]^3(2)$

Vermietung , ,$A=h'(x_0)(x-x_0)$$B=\frac{1}{2}h''(x_0)(x-x_0)^2$$C=O((x-x_0)^3)$ $(2)=[A+B+C]^3$ $\color{red}{\neq}[A^3+3A^2 B+3A B^2+B^3]=[A+B]^3=(1)$

Ihr Fehler besteht darin, den Rest vor der Erweiterung wegzulassen. Dies ist ein "klassischer" Fehler in der Big-O-Notation und wurde später zu einer Kritik an der Verwendung der Big-O-Notation.

$\blacksquare$ beginnt die Analyse mit anstelle von , der Menge, um die wir uns eigentlich kümmern?$\bar{X}$$X$

Weil wir unsere Analyse auf die ausreichende Statistik des Exponentialmodells stützen wollen, das wir einführen. Wenn Sie eine Stichprobe der Größe 1 haben, gibt es keinen Unterschied, ob Sie mit ODER analysieren .$\bar{X}=\frac{1}{n}\sum_{i=1}^{n}X_i$$X_1$

Dies ist eine gute Lektion in Big-O-Notation, obwohl sie für GLM nicht relevant ist ...

Referenz [Casella & Lehmann] Lehmann, Erich Leo und George Casella. Theorie der Punktschätzung. Springer Science & Business Media, 2006.