Bayesianische Aktualisierung - Beispiel für das Werfen von Münzen

Ich habe eine Frage zur Bayes'schen Aktualisierung. Im Allgemeinen bezieht sich die Bayes'sche Aktualisierung auf den Prozess des Erhaltens des Seitenzahns aus einer vorherigen Glaubensverteilung.

Alternativ könnte man den Begriff so verstehen, dass der hintere Teil des ersten Schritts als vorherige Eingabe für die weitere Berechnung verwendet wird.

Das Folgende ist ein einfaches Berechnungsbeispiel. Methode a ist die Standardberechnung. Methode b verwendet die hintere Ausgabe als Eingabe, bevor die nächste hintere Ausgabe berechnet wird.

Mit Methode a erhalten wir P (F | HH) = 0,2. Unter Verwendung von Methode b ergibt sich P (F | HH) = 0,05. Meine Frage ist, inwieweit Methode b ein gültiger Ansatz ist.

Problem: Sie werfen zweimal eine Münze und erhalten 2 Köpfe. Wie groß ist die Wahrscheinlichkeit, dass die Münze fair ist, dh ? $Pr(Fair\ coin| HH)$

Nun zum ersten Wurf: $Pr(Fair\ coin| H) = \frac{Pr(Head|Fair)\cdot P(Fair)}{Pr(Head|Fair) \cdot P(Fair)+Pr(Head|Biased) \cdot P(Biased)} = \frac{Pr(H|F)\cdot P(F)}{P(H)} \quad\quad (1)$

Unter der Annahme, dass der vorherige Glaube P (fair) = 0,5 ist, möchten Sie P (F | H) für den ersten Wurf finden

Nachfolgend finden Sie die Berechnung für die Zwischenschritte:

$P(H|F)= {n \choose x} \theta^{x}(1-\theta)^{n-x} = {1 \choose 1} 0.5^{1}(0.5)^{0}= 0.5$

$P(H)= P(H|F) \cdot P(F)+ P(H|Biased) \cdot P(Biased)=(0.5 \cdot 0.5) +(1 \cdot 0.5) = 0.75$

(Hinweis: P (H | voreingenommen) = 1, da unter der Annahme eines extremen Beispiels mit Köpfen auf beiden Seiten der Münze die Wahrscheinlichkeit, Köpfe mit einer voreingenommenen Münze zu erhalten, = 1 ist (erleichtert die Berechnung))

Wenn wir also (1) einstecken, erhalten wir:

$Pr(F| H) =\frac{Pr(H|F)\cdot P(F)}{P(H)} = \frac{0.5 \cdot 0.5}{0.75} = 0.33$

Jetzt werfen wir die Münze erneut und erhalten ein weiteres H. Um zu berechnen , müssen wir $Pr(F| HH)$

a) Verwenden Sie weiterhin P (Fair) = 0,5

$Pr(F|HH) = \frac{Pr(HH|F)\cdot P(F)}{Pr(HH|F) \cdot P(F)+Pr(HH|Biased) \cdot P(Biased)} = \frac{Pr(HH|F)\cdot P(F)}{P(HH)} \quad\quad (2)$

$P(HH|F)= {n \choose x} \theta^{x}(1-\theta)^{n-x} = {2 \choose 2} 0.5^{2}(0.5)^{0}= 0.25$

$P(HH)= P(HH|F) \cdot P(F)+ P(HH|Biased) \cdot P(Biased)=(0.25 \cdot 0.5) +(1 \cdot 0.5) = 0.625$

Wenn Sie also (2) , ist $Pr(F|HH) =\frac{Pr(HH|F)\cdot P(F)}{P(HH)} = \frac{0.25 \cdot 0.5}{0.625} = 0.2$

Was ist alternativ, wenn wir mit verwenden $Pr(F| HH)$

b) unsere aktualisierte Überzeugung P (fair) = 0,33, die wir im ersten Schritt von Pr (F | H) erhalten haben

In diesem Fall,

$P(HH|F)= {n \choose x} \theta^{x}(1-\theta)^{n-x} = {2 \choose 2} 0.33^{2}(1-0.33)^{0}= 0.1089$

$P(HH)= P(HH|F) \cdot P(F)+ P(HH|Biased) \cdot P(Biased)=(0.1089 \cdot 0.33) +(1 \cdot 0.67) = 0.705937$

Wenn Sie also (2) , ist $Pr(F|HH) =\frac{Pr(HH|F)\cdot P(F)}{P(HH)} = \frac{0.1089 \cdot 0.33}{0.705937} = 0.05091$

Mit Methode a erhalten wir P (F | HH) = 0,2. Unter Verwendung von Methode b ergibt sich P (F | HH) = 0,05. Meine Frage ist, inwieweit Methode b ein gültiger Ansatz ist.

bayesian

— TinaW
quelle

Wie haben Sie begründet, dass die Wahrscheinlichkeit, mit einer voreingenommenen Münze Köpfe zu bekommen, 1 beträgt? Egal wie oft Sie die Münze werfen, die Wahrscheinlichkeit, dass sie fair ist, ist Null.

— Neil G

Wenn die Münze voreingenommen ist und wir einen Kopf sehen, bedeutet dies, dass die Münze auf beiden Seiten einen Kopf hat. Wir werden immer Kopf sehen, also Wahrscheinlichkeit, Kopf mit einer voreingenommenen Münze zu bekommen = 1.

— TinaW

Normalerweise bedeutet eine voreingenommene Münze nur, dass sie nicht fair ist, aber sie könnte eine Voreingenommenheit haben. Sie sollten in Ihrer Frage klarstellen, dass Sie nur die Möglichkeiten in Betracht ziehen, dass entweder die Münze vollkommen fair ist oder immer auf den Kopf kommt. Vielleicht möchten Sie dies als Urnenproblem umformulieren, da dies keine sehr realistische Münze ist.

— Neil G

"In der Tat ist eine Münze entweder völlig fair oder völlig voreingenommen." - Nicht wirklich. Es gibt sehr wenige Münzen, die entweder völlig fair oder "völlig voreingenommen" sind.

— Neil G

beide Seiten Köpfe

— TinaW

Ihr Ansatz b) ist falsch: sowohl die Einzelschrittaktualisierung , bei der alle Daten zusammen verwendet werden, um den Prior zu aktualisieren und zum Posterior zu gelangen, als auch die Bayes'sche sequentielle (auch als rekursive bezeichnete ) Aktualisierung , bei der die Daten einzeln verwendet werden Um einen Posterior zu erhalten, der der Prior der aufeinanderfolgenden Iteration wird, muss genau das gleiche Ergebnis erzielt werden. Dies ist eine der Säulen der Bayes'schen Statistik: Konsistenz .

Ihr Fehler ist einfach: Sobald Sie den Prior mit dem ersten Beispiel (dem ersten "Kopf") aktualisiert haben, müssen Sie nur noch ein Beispiel in Ihre Wahrscheinlichkeit einbeziehen, um den neuen Prior zu aktualisieren. In Formeln:

P (F | H H) = \frac{P (H | H, F) P (F | H)}{P (H | H)}

$P(F|HH) =\frac{P(H|H,F)P(F|H)}{P(H|H)}$

Diese Formel ist nur der Satz von Bayes, der angewendet wird, nachdem das erste Ereignis "Head" bereits stattgefunden hat: Da bedingte Wahrscheinlichkeiten selbst Wahrscheinlichkeiten sind, gilt der Satz von Bayes auch für Wahrscheinlichkeiten, die an das Ereignis "Head" konditioniert sind, und es gibt nichts mehr zu beweisen . Ich habe jedoch festgestellt, dass die Leute dieses Ergebnis manchmal nicht für selbstverständlich halten, daher gebe ich einen etwas langwierigen Beweis.

P (F | H H) = \frac{P (H H | F) P (F)}{P (H H)} = \frac{P (H | H, F) P (H | F) P (F)}{P (H H)}

$P(F|HH) =\frac{P(HH|F)P(F)}{P(HH)}= \frac{P(H|H,F)P(H|F)P(F)}{P(HH)}$

durch die Kettenregel der bedingten Wahrscheinlichkeiten. Wenn Sie dann Zähler und Nenner mit multiplizieren , erhalten Sie $P(H)$

\frac{P (H | H, F) P (H | F) P (F)}{P (H H)} = \frac{P (H | H, F) P (H | F) P (F) P (H)}{P (H H) P (H)} = \frac{P (H | H, F) P (H)}{P (H H)} \frac{P (H | F) P (F)}{P (H)} = \frac{P (H | H, F)}{P (H | H)} \frac{P (H | F) P (F)}{P (H)} = \frac{P (H | H, F) P (F | H)}{P (H | H)}

$\frac{P(H|H,F)P(H|F)P(F)}{P(HH)}=\frac{P(H|H,F)P(H|F)P(F)P(H)}{P(HH)P(H)}=\frac{P(H|H,F)P(H)}{P(HH)}\frac{P(H|F)P(F)}{P(H)}=\frac{P(H|H,F)}{P(H|H)}\frac{P(H|F)P(F)}{P(H)}=\frac{P(H|H,F)P(F|H)}{P(H|H)}$

wo ich im letzten Schritt gerade den Satz von Bayes angewendet habe. Jetzt:

P (H | H, F) = P (H | F) = 0.5

$P(H|H,F)= P(H|F)=0.5$

Dies ist offensichtlich: Unter der Bedingung, dass die Münze fair (oder voreingenommen) ist, modellieren wir die Münzwürfe als iid. Wenn wir dieselbe Idee auf den Nenner anwenden, erhalten wir:

P (H | H) = P (H | F, H) P (F | H) + P (H | B, H) P (B | H) = P (H | F) P (F | H) + P (H | B) P (B | H) = 0.5 \cdot 0. \bar{3} + 1 \cdot 0. \bar{6}

$P(H|H)= P(H|F,H)P(F|H)+P(H|B,H)P(B|H)=P(H|F)P(F|H)+P(H|B)P(B|H)=0.5\cdot0.\bar{3}+1\cdot0.\bar{6}$

Schließlich:

P (F | H H) = \frac{P (H | H, F) P (F | H)}{P (H | H)} = \frac{0.5 \cdot 0. \bar{3}}{0.5 \cdot 0. \bar{3} + 1 \cdot 0. \bar{6}} = 0.2

$P(F|HH) =\frac{P(H|H,F)P(F|H)}{P(H|H)}=\frac{0.5\cdot0.\bar{3}}{0.5\cdot0.\bar{3}+1\cdot0.\bar{6}}=0.2$

QED

Das war's: Viel Spaß mit der Bayes'schen sequentiellen Aktualisierung, sie ist in vielen Situationen sehr nützlich! Wenn Sie mehr wissen möchten, gibt es im Internet viele Ressourcen: Das ist ziemlich gut.

— DeltaIV
quelle