Die Score-Funktion von Fisher hat den Mittelwert Null - was bedeutet das überhaupt?

Ich versuche, der prinzipiellen Überprüfung der Wahrscheinlichkeitstheorie zu folgen . Sie definieren Fisher’s score functionals Die erste Ableitung der Log-Likelihood-Funktion und sie sagen, dass die Punktzahl ein Zufallsvektor ist. ZB für die geometrische Verteilung:

u (π) = n (\frac{1}{π} - - \frac{\bar{y}}{1 - - π})

$u(\pi) = n\left(\frac{1}{\pi} - \frac{\bar{y}}{1-\pi} \right)$

Und ich kann sehen, dass es tatsächlich eine Funktion (des Parameters) ist $\pi$ ), und es ist zufällig, wie es beinhaltet $\bar{y}$ .

ABER dann sagen sie etwas, was ich nicht verstehe: "Die Punktzahl wird mit dem wahren Parameterwert bewertet $\pi$ hat Mittelwert Null "und sie formulieren es als $E(u(\pi)) = 0$ . Was bedeutet es, es am "wahren Parameterwert" auszuwerten und dann seinen Mittelwert herauszufinden? Und im geometrischen Beispiel, wenn ich die Identität verwende $E(y) = E(\bar{y}) = \frac{1-\pi}{\pi}$ werde ich das nicht sofort bekommen $E(u(\pi)) = 0$ ? Was hat der "wahre Parameterwert" damit zu tun?

likelihood geometric-distribution fisher-scoring

— ihadanny
quelle

Einige relevante Beiträge: stats.stackexchange.com/questions/112451/… stats.stackexchange.com/questions/196576/… stats.stackexchange.com/questions/200946/…

— kjetil b halvorsen

Antworten:

Wie Sie auf die Score-Funktion hingewiesen haben $u$ wird unter geeigneten Regelmäßigkeitsbedingungen als "die erste Ableitung der Log-Likelihood-Funktion" definiert.

Nehmen wir das an $X$ ist eine Zufallsvariable mit Dichtefunktion $f(x)$ . Normalerweise ändert sich diese Dichte in Abhängigkeit von einem Vektor von Parametern $\pi$ . Somit ist es zweckmäßig, die Dichtefunktion als zu schreiben $f(x;\pi)$ um die Abhängigkeit vom Parameter deutlich zu machen. Wir werden annehmen, dass der "wahre" Wert von $\pi$ für die Zufallsvariable $X$ ist $\pi = \pi_0$ . (Was ich meine ist das $X \sim f(\;\cdot\;;\pi_0)$ )

Die Score-Funktion kann nun wie folgt geschrieben werden:

u (π;; x) = \frac{\partial}{\partial π} Log f (x;; π),

$u(\pi;x) = \frac{\partial}{\partial\pi}\log f(x;\pi),$ und es ist jetzt klar, dass es eine Funktion von beiden ist

x

$x$ und von

π

$\pi$ . (In deiner Frage hast du

L

$L$ anstelle von

f

$f$ , aber es gibt keinen Unterschied, da die Wahrscheinlichkeitsfunktion nur die Dichtefunktion ist.)

Betrachten Sie nun die Zufallsvariable $u(\pi,X)$ und seine Erwartung $\xi(\pi) = \mathbb{E_{\pi_0}}(u(\pi,X))$ . Hierbei ist zu beachten, dass der Index $\pi_0$ ist da, um den (wahren) Parameter in der Verteilung von anzugeben $X$ und von dem Wert unterscheiden $\pi$ mit denen wir rechnen $u$ .

Vorausgesetzt, dass $f$ ist eine kontinuierliche Dichte (der diskrete Fall ist ähnlich), die wir haben:

ξ (π) = \int_{- \infty}^{+ \infty} (\frac{\partial}{\partial π} \log f (x; π)) f (x; π_{0}) d x = \int_{- \infty}^{+ \infty} \frac{f^{'} (x; π)}{f (x; π)} f (x; π_{0}) d x

$\xi(\pi) = \int_{-\infty}^{+\infty}\left(\frac{\partial}{\partial\pi}\log f(x;\pi)\right)f(x;\pi_0)dx = \int_{-\infty}^{+\infty}\frac{f'(x;\pi)}{f(x;\pi)}f(x;\pi_0)dx$

und wenn Sie bewerten $\xi$ am wahren Parameterwert $\pi_0$ wir bekommen:

ξ (π_{0}) = \int_{- - \infty}^{+ \infty} \frac{f^{'} (x;; π_{0})}{f (x;; π_{0})} f (x;; π_{0}) d x = \int_{- - \infty}^{+ \infty} f^{'} (x;; π_{0}) d x

$\xi(\pi_0) = \int_{-\infty}^{+\infty}\frac{f'(x;\pi_0)}{f(x;\pi_0)}f(x;\pi_0)dx = \int_{-\infty}^{+\infty}f'(x;\pi_0)dx$

= \frac{\partial}{\partial π} \int_{- - \infty}^{+ \infty} f (x;; π_{0}) d x = 0

$=\frac{\partial}{\partial\pi}\int_{-\infty}^{+\infty}f(x;\pi_0)dx = 0$

Dies ist die Begründung für die Score-Funktion mit der Erwartung Null am wahren Parameter.

Sie sollten sich Bücher wie dieses (Kapitel 3) ansehen , um ein besseres Verständnis der Bedingungen zu erhalten, unter denen diese Ableitungen (wie das Vertauschen von Ableitungen und Integralen) zutreffen.

— Mur1lo
quelle

Vielen Dank! aber ich bin mir immer noch nicht ganz sicher, warum es nicht 0 ist, wenn ich einen anderen Wert einstecke

π_{1}

$\pi_1$ ? werden wir nicht in der Lage sein, den gleichen Trick des Umschaltens zwischen dem Integral zu verwenden?

x

$x$ und die Ableitung wrt

π

$\pi$ ?

— Ihadanny

ξ (π_{1}) = \int \frac{f^{'} (x; π_{1})}{f (x; π_{1})} f (x; π_{0}) d x

$\xi(\pi_1)=\int\frac{f'(x;\pi_1)}{f(x;\pi_1)}f(x;\pi_0)dx$ und jetzt können wir den Nenner nicht stornieren, wenn

π_{1} \neq π_{0}

$\pi_1\neq\pi_0$ .

— Mur1lo

eine andere Frage - meinten Sie in Ihrer Antwort die Bewertungsfunktion für eine einzelne Beobachtung oder die Bewertungsfunktion für die gesamte Stichprobe von n Beobachtungen?

— Ihadanny

@ihadanny Es macht keinen Unterschied, da Sie Ihre Stichprobe als einzelne Realisierung einer Zufallsvariablen in sehen können

R^{n}

$\mathbb{R}^n$ .

— Mur1lo

Dies ist der klarste Beweis, den ich zu diesem Thema gesehen habe. Vielen Dank! :)

— jjepsuomi

Ok, dank der hervorragenden @ Mur1lo-Antwort habe ich jetzt ein besseres Verständnis und möchte meinen eigenen Versuch machen, dieses abstrakte Konzept so konkret wie möglich zu machen.

Angenommen, wir haben eine Stichprobe von 5 Münzergebnissen. Wir nehmen an, dass sie aus einer Population mit Bernoulli-Verteilung mit dem wahren Parameter entnommen wurden $\pi_0$ .

Wenn wir uns eine bestimmte Münze mit Ergebnis ansehen $x_3=1$ können wir die logarithmische Wahrscheinlichkeit berechnen, mit der dieser Patient aus einer Bernoulli-Verteilung mit allen Arten von Parameterwerten, z $\pi = 0.2$ oder $\pi=0.9$ und so weiter. Die Log-Wahrscheinlichkeit ist also eine Funktion, die die Wahrscheinlichkeit von abschätzt $x_3$ für jeden möglichen Wert von $\pi$ .

L. L. (π | x_{3}) = x_{3} l n (π) + (1 - - x_{3}) l n (1 - - π)

$LL(\pi|x_3) = x_3ln(\pi) + (1-x_3)ln(1-\pi)$

Was einfach bedeutet, dass wenn $x_3=1$ die Wahrscheinlichkeit dafür war $\pi$ und wenn es 0 ist, ist die Wahrscheinlichkeit dafür $1-\pi$ .

Wenn wir die Unabhängigkeit zwischen den Münzzügen annehmen, haben wir eine 'Durchschnitts'-Funktion, die die logarithmische Wahrscheinlichkeit der gesamten Stichprobe von n = 5 Münzzügen darstellt.

L. L. (π | X.) = \sum x_{ich} l n (π) + (n - - \sum (x_{ich})) l n (1 - - π)

$LL(\pi|X) = \sum{x_i}ln(\pi) + (n-\sum(x_i))ln(1-\pi)$

Wir wollen das Maximum von finden $LL(\pi|X)$ - die mle = $\pi_{mle}$ .

Die Score-Funktion $u(\pi)$ ist ein Vektor der Ableitungen für jeden Parameter der Log-Wahrscheinlichkeit. Zum Glück ist es in unserem Fall ein einfacher Skalar, da es nur einen Parameter gibt. Unter bestimmten Umständen hilft es uns bei der Suche $\pi_{mle}$ , da in diesem Punkt die Score-Funktion wäre $u(\pi_{mle}) = 0$ . Wir können die Beobachtungswertfunktion für eine einzelne Beobachtung berechnen (Münzziehung):

u (π | x_{3}) = \frac{x_{3}}{π} - - \frac{1 - - x_{3}}{1 - - π}

$u(\pi|x_3) = \frac{x_3}{\pi} - \frac{1-x_3}{1-\pi}$

und die Stichproben-Score-Funktion von n = 5 Patienten:

u (π | X.) = \frac{\sum x_{ich}}{π} - - \frac{n - - \sum x_{ich}}{1 - - π}

$u(\pi|X) = \frac{\sum{x_i}}{\pi} - \frac{n-\sum{x_i}}{1-\pi}$

Wenn wir diese letzte Funktion auf 0 setzen, erhalten wir $\pi_{mle}$ .

ABER das spezifische 5-Draws-Sample hat nichts mit der Erwartung der Score-Funktion zu tun! Die Erwartung ist der Wert der Beobachtungswertfunktion für jeden möglichen Wert von x, multipliziert mit der Wahrscheinlichkeit dieses Wertes, der die Dichtefunktion ist! In unserem Fall kann x nur 2 Werte annehmen: 0 und 1. Und die Dichtefunktion ist, wie wir angenommen haben, ein Bernoulli mit Parameter $\pi_0$ ::

E. (u (π | x_{ich})) = \sum_{x} (\frac{x}{π} - - \frac{1 - - x}{1 - - π}) π_{0}^{x} (1 - - π_{0})^{1 - - x} = \frac{π_{0}}{π} - - \frac{1 - - π_{0}}{1 - - π}

$E(u(\pi|x_i)) = \sum_x (\frac{x}{\pi} - \frac{1-x}{1-\pi}) \pi_0^x(1-\pi_0)^{1-x} = \frac{\pi_0}{\pi} - \frac{1-\pi_0}{1-\pi}$

und es ist klar, dass es Null wird, wenn es am wahren Parameter ausgewertet wird $\pi_0$ . Die intuitive Interpretation lautet: Für jeden Wert von $\pi$ Was ist die mittlere Änderungsrate der Wahrscheinlichkeit?

Die Informationsmatrix ist die Varianz der Wahrscheinlichkeit - wie empfindlich wird unsere Lösung für unterschiedliche Daten sein? (siehe diese Antwort ).

ich (π | x_{ich}) = v ein r (u (π | x_{ich})) = v ein r (\frac{x_{ich}}{π} - - \frac{1 - - x_{ich}}{1 - - π}) = v ein r (\frac{x_{ich} - - π}{π (1 - - π)}) = \frac{v ein r (x_{ich})}{π^{2} (1 - - π)^{2}} = \frac{π_{0} (1 - - π_{0})}{π^{2} (1 - - π)^{2}}

$I(\pi|x_i) = var(u(\pi|x_i)) = var(\frac{x_i}{\pi} - \frac{1-x_i}{1-\pi}) = var(\frac{x_i-\pi}{\pi(1-\pi)}) = \frac{var(x_i)}{\pi^2(1-\pi)^2} = \frac{\pi_0(1-\pi_0)}{\pi^2(1-\pi)^2}$

und wenn am wahren Parameter ausgewertet $\pi_0$ es vereinfacht sich zu:

ich (π_{0} | x_{ich}) = \frac{1}{π_{0} (1 - - π_{0})}

$I(\pi_0|x_i) = \frac{1}{\pi_0(1-\pi_0)}$

( Weitere Informationen finden Sie in den Washington Edu-Notizen .)

Erstaunlicherweise gibt es eine andere Möglichkeit zu messen, wie empfindlich die Wahrscheinlichkeit in einem bestimmten Fall sein würde $\pi$ ! das ist die Erwartung der Krümmung = Hessisch = zweite Ableitung. Je steiler unsere Wahrscheinlichkeit ist, desto genauer werden wir sein. Details finden Sie im Blog von Mark Reid

— ihadanny
quelle