Erwarteter Wert der Maximum-Likelihood-Münzparameterschätzung

Angenommen, ich habe ein Münzwurf-Experiment, bei dem ich die maximale Wahrscheinlichkeitsschätzung des Münzparameters berechnen möchte, wenn ich die Münze mal werfe . Nach der Berechnung der Ableitung der Binomialwahrscheinlichkeitsfunktion erhalte ich den optimalen Wert für als , wobei die Anzahl der Erfolge ist. $p$ $n$ $L(p) = { n \choose x } p^x (1-p)^{n-x}$ $p$ $p^{*} = \frac{x}{n}$ $x$

Meine Fragen sind jetzt:

Wie würde ich den erwarteten Wert / die erwartete Varianz dieser Maximum-Likelihood-Schätzung für berechnen $p$ ?
Muss ich den erwarteten Wert / die erwartete Varianz für berechnen $L(p^{*})$ ?
Wenn ja, wie würde ich das machen?

— Manu
quelle

Ich vermute, dies ist eine Art Selbststudium (Sie sollten es als solches kennzeichnen). Was genau willst du? Rückschluss auf Ihren Parameter?

— pkofod

Was meinst du mit Rückschluss auf den Parameter? Ich bin mir nicht sicher, wie ich den erwarteten Wert / die erwartete Varianz für die Menge

berechnen würde

p^{*}

$p^{*}$ . Ich meine, ich weiß, was Mittelwert / Varianz ist und wie man es für einfache Beispiele berechnet, aber ich verstehe nicht, wie man es auf

anwendet

p^{*}

$p^{*}$ .

— Manu

Antworten:

Zuallererst ist dies eine Frage zum Selbststudium, daher werde ich zu sehr auf jedes kleine technische Detail eingehen, aber ich werde auch keinen Ableitungsrausch erleben. Es gibt viele Möglichkeiten, dies zu tun. Ich werde Ihnen helfen, indem ich allgemeine Eigenschaften des Maximum-Likelihood-Schätzers verwende.

Hintergrundinformation

Um Ihr Problem zu lösen, müssen Sie meiner Meinung nach von Anfang an die maximale Wahrscheinlichkeit untersuchen. Sie verwenden wahrscheinlich eine Art Lehrbuch, und die Antwort sollte wirklich irgendwo da sein. Ich werde Ihnen helfen, herauszufinden, wonach Sie suchen müssen.

Maximum Likelihood ist eine Schätzmethode, die wir im Grunde genommen als M-Schätzer bezeichnen (stellen Sie sich das "M" als "Maximieren / Minimieren" vor). Wenn die für die Verwendung dieser Methoden erforderlichen Bedingungen erfüllt sind, können wir zeigen, dass die Parameterschätzungen konsistent und asymptotisch normalverteilt sind. Wir haben also:

\sqrt{N} (\hat{θ} - θ_{0}) \overset{d}{\to} Normal (0, A_{0}^{- 1} B_{0} A_{0}^{- 1}),

$\sqrt{N}(\hat\theta-\theta_0)\overset{d}{\to}\text{Normal}(0,A_0^{-1}B_0A_0^{-1}),$

wobei und einige Matrizen sind. Wenn wir die maximale Wahrscheinlichkeit verwenden, können wir zeigen, dass , und daher haben wir einen einfachen Ausdruck: Wir haben das wobei das bezeichnet. Dies ist, was Sie schätzen müssen, um Ihre Varianz zu erhalten. $A_0$ $B_0$ $A_0=B_0$

\sqrt{N} (\hat{θ} - θ_{0}) \overset{d}{\to} Normal (0, A_{0}^{- 1}) .

$\sqrt{N}(\hat\theta-\theta_0)\overset{d}{\to}\text{Normal}(0,A_0^{-1}).$

A_{0} \equiv - E (H (θ_{0}))

$A_0\equiv -E(H(\theta_0))$

H

$H$

Ihr spezifisches Problem

Wie machen wir das? Nennen wir hier unseren Parameter vector was Sie tun: . Dies ist nur ein Skalar, daher ist unsere "Punktzahl" nur die Ableitung und die "Hessische" nur die Ableitung zweiter Ordnung. Unsere Wahrscheinlichkeitsfunktion kann wie folgt geschrieben werden: was wir maximieren möchten. Sie haben die erste Ableitung davon oder die Log-Wahrscheinlichkeit verwendet, um Ihr zu finden . Anstatt die erste Ableitung gleich Null zu setzen, können wir erneut differenzieren, um die Ableitung zweiter Ordnung . Zuerst nehmen wir Protokolle: Dann ist unsere 'Punktzahl': und unser 'Hessisch': $\theta$ $p$

l (p) = (p)^{x} (1 - p)^{n - x},

$l(p)=(p)^x (1-p)^{n-x},$

p^{*}

$p^*$

H (p)

$H(p)$

l l (p) \equiv \log (l (p)) = x \log (p) + (n - x) \log (1 - p)

$ll(p)\equiv\log(l(p))=x\log(p)+(n-x)\log(1-p)$

l l^{'} (p) = \frac{x}{p} + \frac{n - x}{1 - p},

$ll'(p)=\frac{x}{p}+\frac{n-x}{1-p},$

H (p) = l l^{″} (p) = - \frac{x}{p^{2}} - \frac{n - x}{(1 - p)^{2}} .

$H(p)=ll''(p)=-\frac{x}{p^2}-\frac{n-x}{(1-p)^2}.$ Dann sagt Ihnen unsere allgemeine Theorie von oben nur, dass Sie . Jetzt müssen Sie nur noch die Erwartung von (Hinweis: Verwenden Sie ), multiplizieren Sie mit und nehmen Sie die Umkehrung. Dann haben Sie Ihre Varianz des Schätzers.

(- E (H (p)))^{- 1}

$(-E(H(p)))^{-1}$

H (p)

$H(p)$

E (x / n) = p

$E(x/n)=p$

- 1

$-1$

— pkofod
quelle

Ist korrekt?

V a r (p) = \frac{p^{2} - 1}{n} - \frac{1}{n p}

$Var(p) = \frac{p^2-1}{n} - \frac{1}{np}$

— Manu

@ Manu: Nicht ganz, aber es sieht so aus, als hättest du irgendwo einen kleinen Fehler gemacht. Kannst du noch ein paar Schritte posten?

— pkofod

(- E (H (p)))^{- 1} = E (- H (p))^{- 1]} = (E (\frac{x}{p^{2}}) + E (\frac{n - x}{(1 - p)^{2}}))^{- 1} = (p^{- 2} n p + (1 - p)^{- 2} (n - n p))^{- 1}

$(-E(H(p)))^{-1} = E(-H(p))^{-1]} = (E(\frac{x}{p^2}) + E(\frac{n-x}{(1-p)^2}))^{-1} = ( p^{-2}np + (1-p)^{-2}(n -np) )^{-1}$ . Von da an vereinfachte ich durch Multiplikation und Umkehrung.

— Manu

Das ist alles richtig, jetzt einfach vereinfachen. Im ersten Teil wird p abgebrochen, und im zweiten Teil können Sie n außerhalb der Klammer nehmen.

— pkofod

(n / p + n / [1 - p])^{- 1}

$(n/p+n/[1-p])^{-1}$ ist das, was Sie oben haben. Berechnen Sie einfach das heraus, setzen Sie einen gemeinsamen Nenner und nehmen Sie dann den Kehrwert.

n

$n$

— Ekvall

Lassen Sie uns zunächst den erwarteten Wert ausführen:

Wenn die Anzahl der Erfolge in Würfen ist, ist der Anteil der Erfolge in Ihrer Stichprobe. Betrachten Sie ; Für jeden Wurf beträgt die Erfolgswahrscheinlichkeit gemäß den Annahmen. Wenn Sie also die Münze einmal werfen, beträgt die erwartete "Anzahl der Erfolge" , richtig? Wenn Sie also die Münze mal werfen , würden Sie mal Erfolg erwarten, da die Würfe unabhängig sind. Da die Anzahl der erwarteten Erfolge in Würfen ist, erhalten Sie $x$ $n$ $x/n$ $\mathbb{E}x$ $p$ $p\times1+(1-p)\times 0=p$ $n$ $np$ $np$ $n$

E p^{*} = E n^{- 1} x = n^{- 1} E x = n^{- 1} \times n p = p

$\mathbb{E}p^*=\mathbb{E}n^{-1}x=n^{-1}\mathbb{E}x=n^{-1}\times np=p$

Der Schätzer ist also unvoreingenommen. Können Sie herausfinden, wie Sie die Varianz von hier aus durchführen können?

Edit: Lass uns auch die Varianz machen. Wir verwenden . Den zweiten Term haben wir bereits aus der Berechnung des erwarteten Wertes, also machen wir den ersten: Um einige zu vereinfachen können wir die Anzahl der Erfolge in Würfen wie folgt ausdrücken : wobei den Wert 1 annimmt, wenn der Wurf ein Erfolg war, und ansonsten 0. Daher ist Wenn Sie also die Dinge zusammenfügen, gelangen Sie zu . $\text{Var}(p^*)=\mathbb{E}p{^*}^2-(\mathbb{E}p{^*})^2$

E p {^{*}}^{2} = n^{- 2} E x^{2}

$\mathbb{E}p{^*}^2=n^{-2}\mathbb{E}x^2$

n

$n$

x = \sum_{1}^{n} χ_{i},

$x=\sum_1^n\chi _i,$

χ_{i}

$\chi_i$

i

$i$

E x^{2} = E (\sum_{1}^{n} χ_{i})^{2} = E [\sum_{1}^{n} χ_{i}^{2} + 2 \sum_{i < j} χ_{i} χ_{j}] = n p + n (n - 1) p^{2},

$\mathbb{E}x^2=\mathbb{E}(\sum_1^n\chi _i)^2=\mathbb{E}[\sum_1^n\chi _i^2+2\sum_{i<j}\chi _i\chi_j]=np+n(n-1)p^2,$

Var (p^{*}) = \frac{p (1 - p)}{n}

$\text{Var}(p^*)=\frac{p(1-p)}{n}$

— ekvall
quelle

Wenn Sie Köpfe hintereinander werfen , ist Ihr . Welchen genauen Wert würde Var ( ) jedoch annehmen?

n = 3

$n=3$

p_{M L E} = 1.0

$p_{MLE} =1.0$

p^{*}

$p^*$

— Piccolo