Hilfe bei der Taylor-Erweiterung der Log-Likelihood-Funktion

Ich habe den folgenden Teil einer Skizze des Beweises, dass der Maximum-Likelihood-Schätzer asymptotisch normal ist, reed:

"Skizze des zweiten Teils des Beweises. Denken Sie daran, dass wir die Wahrscheinlichkeitsgleichung als wobei die Ableitung von in Bezug auf . Sei die Ableitung von in Bezug auf . Nun eine Taylor-Erweiterung um ergibt:

\sum_{i = 0}^{n} U_{i} (\hat{θ}) = 0

$\sum_{i=0}^n U_i(\hat\theta)=0$

U_{i} (ϕ)

$U_i(\phi)$

\log f (Y_{i}; ϕ)

$\log\! f(Y_i;\phi)$

ϕ

$\phi$

U_{i}^{'} (ϕ)

$U_i'(\phi)$

\log f (Y_{i}; ϕ)

$\log\!f(Y_i;\phi)$

ϕ

$\phi$

ϕ = θ

$\phi=\theta$

\sum_{i = 0}^{n} U_{i} (ϕ) - \sum_{i = 0}^{n} U_{i} (θ) \approx (\sum_{i = 0}^{n} U_{i}^{'} (θ)) (ϕ - θ)

$\sum_{i=0}^n U_i(\phi )-\sum_{i=0}^n U_i(\theta)\approx \left( \sum_{i=0}^n U_i'(\theta) \right)(\phi-\theta)$ "

Diese Taylor-Erweiterung macht für mich keinen Sinn. Ich kenne eine Taylor-Erweiterung von bei als: I. Ich kann sehen, dass alle Begriffe außer dem zweiten Begriff aus der Taylor-Erweiterung der Log-Wahrscheinlichkeit ausgeschlossen sind, aber ich erkenne nicht, woher dieser Begriff stammt, da der ursprüngliche Begriff das Subtrahieren von zwei Summierungen beinhaltete. $f(x)$ $a$

\sum_{i = 0}^{\infty} \frac{f^{(n)} (a)}{n!} (x - a)^{n}

$\sum_{i=0}^\infty\frac{f^{(n)}(a)}{n!}(x-a)^n$

mathematical-statistics maximum-likelihood taylor-series

— Joogs
quelle

Vielleicht wäre es klarer, dies als Definition der Ableitung zu charakterisieren (zusammen mit der Summenformel für Ableitungen). Taylor muss nicht aufgerufen werden.

— whuber

Sie sollten sich selbst davon überzeugen, dass nur eine andere Möglichkeit ist, die Taylor-Expansion auszudrücken (unter geeigneten Regelmäßigkeitsannahmen). $f(x)-f(y)\approx f'(x)(x-y)$

Mithilfe der Linearität der Ableitung können Sie sie dann auf die Summe verallgemeinern.

— RUser4512
quelle

Ist die Taylor-Erweiterung einer Summe von Funktionen dieselbe wie die Summe der Taylor-Erweiterungen der beiden getrennten Funktionen? Dann könnte ich es sehen.

— Joogs

@Joogs Ja, denken Sie daran, dass eine Summe differenzierbarer Funktionen auch differenzierbar ist.

— JohnK

Aber ist die Taylor-Erweiterung einer Summe von Funktionen auch die Summe der Taylor-Erweiterungen der beiden Funktionen, wenn eine eine Funktion von x und die andere eine Funktion von y ist?

— Joogs

@ Joogs, ja! Sie müssen nur darauf achten, dass Sie nicht zu weit vom Punkt (x, y) entfernt sind

— RUser4512

Ich denke, Ihr Problem ist nur das Notationsproblem

Beginnen wir von vorne;

Angenommen, sind iid Zufallsvariablen mit der Wahrscheinlichkeitsdichtefunktion $X_1, X_2,...,X_n$ $f(x;\gamma)$

Normalerweise verwenden die Leute hier , ich werde es für die spätere Verwendung aufbewahren. $\theta$

Die Wahrscheinlichkeitsfunktion ist $L(\gamma;x)=f(x_1;\gamma)f(x_2;\gamma)...f(x_n;\gamma)$

Die logarithmische Wahrscheinlichkeitsfunktion $l(\gamma;x)=log[f(x_1;\gamma)f(x_2;\gamma)...f(x_n;\gamma)]=\sum_{i=1}^nlogf(x_i;\gamma)$

Wie üblich werden wir die logarithmische Wahrscheinlichkeit ableiten und auf Null setzen, dh $l'(\gamma;x)=0$

oder $\sum_{i=1}^nlog'f(x_i;\gamma)=0$

Hier sehen Sie $U_i(\gamma)=log'f(x_i;\gamma)$

$\therefore l'(\gamma)=\sum_{i=1}^nU_i(\gamma)\tag{1}$ wir hier , da die Log-Likelihood-Funktion eine Funktion von $x$ $\gamma$

Als nächstes erweitern wir die Funktion in eine Taylor-Reihe der Ordnung zwei an . $l'(\gamma)$ $\theta$

$l'(\gamma)=l'(\theta)+\frac{l''(\theta)}{1!}(\gamma-\theta)^1+\frac{l'''(\theta)}{2!}(\gamma-\theta)^2$ . Dies ist die Taylor-Erweiterung für . $l'(\gamma)$

Als nächstes bewerten wir die Gleichung bei $\phi$

$l'(\phi)=l'(\theta)+\frac{l''(\theta)}{1!}(\phi-\theta)^1+\frac{l'''(\theta)}{2!}(\phi-\theta)^2 \tag{2}$

Hier solltest du sehen, dass $l'(\theta)=\sum_{i=1}^nU_i(\theta)$

und $l'(\phi)=\sum_{i=1}^nU_i(\phi)$

und $l''(\phi)=\sum_{i=1}^nU_i'(\phi)$

Ref (1)

Wenn wir den dritten abgeleiteten Term in (2) ignorieren, wird Ihre Frage hier beantwortet

Wir erhalten, dass $\sum_{i=1}^n U_i(\phi )-\sum_{i=1}^n U_i(\theta)\approx \left( \sum_{i=1}^n U_i'(\theta) \right)(\phi-\theta)$

Übrigens denke ich, beginne normalerweise mit nicht mit , es ist sowieso nur ein Index. $i$ $1$ $0$

Hören wir hier nicht auf, wir können weiter gehen, um den Satz zu beweisen

Wir wissen, dass $l'(\phi)=0$

$\therefore l'(\theta)+\frac{l''(\theta)}{1!}(\phi-\theta)^1+\frac{l'''(\theta)}{2!}(\phi-\theta)^2=0$

$l'(\theta)+(\phi-\theta)*[l''(\theta)+\frac{l'''(\theta)}{2}(\phi-\theta)]=0$

Als nächstes ordnen wir die obigen Begriffe neu:

(ϕ - θ) = \frac{l^{'} (θ)}{- l^{″} (θ) - \frac{l^{‴} (θ)}{2} (ϕ - θ)}

$(\phi-\theta)=\frac{l'(\theta)}{-l''(\theta)-\frac{l'''(\theta)}{2}(\phi-\theta)}$

Wir multiplizieren für beide Seiten: $\sqrt{n}$

\begin{matrix} (3) & \sqrt{n} (ϕ - θ) = \frac{\sqrt{n} * l^{'} (θ)}{- l^{″} (θ) - \frac{l^{‴} (θ)}{2} (ϕ - θ)} = \frac{\frac{1}{\sqrt{n}} * l^{'} (θ)}{\frac{- l^{″} (θ)}{n} - \frac{l^{‴} (θ)}{2 n} (ϕ - θ)} \end{matrix}

$\sqrt{n}(\phi-\theta)=\frac{\sqrt{n}*l'(\theta)}{-l''(\theta)-\frac{l'''(\theta)}{2}(\phi-\theta)}\\=\frac{\frac{1}{\sqrt{n}}*l'(\theta)}{\frac{-l''(\theta)}{n}-\frac{l'''(\theta)}{2n}(\phi-\theta)} \tag{3}$

(dividieren Sie durch n für Zähler und Nenner gleichzeitig für die linke Seite)

Lassen Sie uns sehen, was der Zähler auf der linken Seite von (3) ist :

\frac{1}{\sqrt{n}} l^{'} (θ) = \frac{1}{\sqrt{n}} \sum_{i = 1}^{n} \frac{\partial l o g f (x_{i}; θ)}{\partial θ}

$\frac{1}{\sqrt{n}}l'(\theta)=\frac{1}{\sqrt{n}}\sum_{i=1}^n\frac{\partial logf(x_i;\theta)}{\partial \theta}$

Und beachte, dass mit Varianz und

\frac{\partial l o g f (x_{i}; θ)}{\partial θ}

$\frac{\partial logf(x_i;\theta)}{\partial \theta}$

I (θ)

$I(\theta)$

E (\frac{\partial l o g f (x_{i}; θ)}{\partial θ}) = 0

$E(\frac{\partial logf(x_i;\theta)}{\partial \theta})=0$

$\therefore$ von CLT

\frac{1}{\sqrt{n}} l^{'} (θ) \sim \frac{1}{\sqrt{n}} N (0, n I (θ)) = N (0, I (θ))

$\frac{1}{\sqrt{n}}l'(\theta)\sim \frac{1}{\sqrt{n}}N(0,nI(\theta))=N(0,I(\theta))$

Als nächstes werden wir sehen, was im Nenner von (3) steht :

- \frac{l^{″} (θ)}{n} = - \frac{1}{n} \sum_{i = 1}^{n} \frac{\partial^{2} l o g f (x_{i}; θ)}{\partial θ} \overset{P}{\to} I (θ)

$-\frac{l''(\theta)}{n}=-\frac{1}{n}\sum_{i=1}^n\frac{\partial^2 logf(x_i;\theta)}{\partial \theta}\overset{P}{\rightarrow} I(\theta)$ nach dem Gesetz der großen Zahl.

Für den Term im Nenner von (3) können wir seine Konvergenz der Wahrscheinlichkeit gegen Null beweisen.

\frac{l^{‴} (θ)}{2 n} (ϕ - θ)

$\frac{l'''(\theta)}{2n}(\phi-\theta)$

Lassen Sie uns zum Schluss alles verzerren

\sqrt{n} (ϕ - θ) \sim \frac{N (0, I (θ)}{I (θ)} = N (0, \frac{1}{I (θ)})

$\sqrt{n}(\phi-\theta)\sim \frac{N(0,I(\theta)}{I(\theta)}=N(0,\frac{1}{I(\theta)})$

Dies bewies den Satz.

— Tiefer Norden
quelle

Warum schreibst du und nicht ? Denn im Wesentlichen lassen Sie alle Bedingungen der Taylor-Expansion nach der 2. Ordnung weg.

l^{'} (γ) = l^{'} (θ) + \frac{l^{″} (θ)}{1!} (γ - θ)^{1} + \frac{l^{‴} (θ)}{2!} (γ - θ)^{2}

$l'(\gamma)=l'(\theta)+\frac{l''(\theta)}{1!}(\gamma-\theta)^1+\frac{l'''(\theta)}{2!}(\gamma-\theta )^2$

l^{'} (γ) \approx l^{'} (θ) + \frac{l^{″} (θ)}{1!} (γ - θ)^{1} + \frac{l^{‴} (θ)}{2!} (γ - θ)^{2}

$l'(\gamma)\approx l'(\theta)+\frac{l''(\theta)}{1!}(\gamma-\theta)^1+\frac{l'''(\theta)}{2!}(\gamma -\theta)^2$

— Joogs

Sie haben Recht, es sind noch Reste übrig. Wenn Leute Taylor Series benutzen, benutzen sie normalerweise nicht but

\approx

$\approx$

=

$=$

— Deep North

Sind die restlichen Bedingungen für den Beweis nicht wichtig?

— Joogs

Nein, sie sind für den Beweis nicht wichtig. Sogar dieser Teil konvergiert mit der Wahrscheinlichkeit gegen Null.

\frac{l^{‴} (θ)}{2 n} (ϕ - θ)

$\frac{l'''(\theta)}{2n}(\phi-\theta)$

— Deep North