Wie verwendet man den Bayes-Satz mit einem kontinuierlichen Prior?

Wie kann ich die hintere Wahrscheinlichkeit berechnen, wenn mein Prior als kontinuierliche Wahrscheinlichkeitsverteilung modelliert wird, beispielsweise als Beta-Verteilung, die verzerrt ist, um meine Neigung zu bestimmten Modellen widerzuspiegeln?

Die Herausforderung für mich besteht darin, die Wahrscheinlichkeit eines bestimmten Modells zu berechnen, da die kontinuierliche Verteilung nur Schätzungen für Intervalle liefert .

Bitte verzeihen Sie die Naivität der Frage, ich habe erst vor kurzem angefangen, Bayes'sche Statistik zu studieren.

bayesian prior

— Rafa
quelle

Ich denke, die richtige Frage wäre: "Wie kann ich die Wahrscheinlichkeit des Modells bei einer Datenstichprobe berechnen?" Ich kann die Wahrscheinlichkeit der Daten für das Modell leicht berechnen, weiß aber nicht, wie ich die Wahrscheinlichkeit des Modells abschätzen soll. Und ja, ich interessiere mich für Modellvergleiche.

— Rafa

Zum Vergleichen von Modellen sagen Sie und die klassische Bayes'sche Antwort (Jeffreys, 1939), um einen Bayes-Faktor ) zu erzeugen Wenn ist größer als Die Daten bevorzugen das Modell ; Wenn kleiner als , bevorzugen die Daten das Modell .

M_{1} = {f_{1} (\cdot | θ_{1}); θ_{1} \in Θ_{1}}

$\mathfrak{M}_1=\{f_1(\cdot|\theta_1);\ \theta_1\in\Theta_1\}$

M_{2} = {f_{2} (\cdot | θ_{2}); θ_{2} \in Θ_{2}}

$\mathfrak{M}_2=\{f_2(\cdot|\theta_2);\ \theta_2\in\Theta_2\}$

B_{12} (x) = \frac{\int_{Θ_{1}} f_{1} (x | θ_{1}) π_{1} (d θ_{1})}{\int_{Θ_{2}} f_{2} (x | θ_{2}) π_{2} (d θ_{2})}

$\mathfrak{B}_{12}(x)=\frac{\int_{\Theta_1} f_1(x|\theta_1)\pi_1(\text{d}\theta_1)}{\int_{\Theta_2} f_2(x|\theta_2)\pi_2(\text{d}\theta_2)}$

B_{12} (x)

$\mathfrak{B}_{12}(x)$

1

$1$

M_{1}

$\mathfrak{M}_1$

B_{12} (x)

$\mathfrak{B}_{12}(x)$

1

$1$

M_{2}

$\mathfrak{M}_2$

— Xi'an
quelle

Der Bayes-Satz lautet:

P (A | B) = \frac{P (B | A) P (A)}{P (B)}

$P(A|B) = \frac{P(B|A)P(A)}{P(B)}$

In einem Fall, in dem Sie Daten und einen Parameter haben, wird häufig für den Parameter (oder Parametervektor) und für die Daten verwendet. $\theta$ $x$

Sie können , einen Prior , und Sie haben möglicherweise ein Modell das die Wahrscheinlichkeit Ihrer Daten bei gegebenem Modell angibt. Sie können dann die Bayes-Regel / den Bayes-Satz verwenden, um dies zu "invertieren" und . $\theta$ $p(\theta)$ $p(x|\theta)$ $p(\theta|x)$

Nur in einer relativ kleinen Anzahl von Beispielen ist es möglich, Lösungen in geschlossener Form für . In willkürlichen Fällen approximieren Sie häufig die posteriore Verteilung mit einigen Standardmethoden in der Bayes'schen Statistik. Die beiden häufigsten allgemeinen Ansätze sind beispielsweise Markov-Kette Monte Carlo oder Variations-Bayes. $p(\theta|x)$

Angenommen, Sie interessieren sich für einen einfachen Fall, in dem eine geschlossene Form posterior existiert. Ein Beispiel hierfür wäre, wenn eine Standardnormalen (Gaußsch mit Einheitsvarianz und Nullmittelwert) und eine Normalen mit einem Mittelwert von und Einheitsvarianz ist. $p(\theta)$ $p(x|\theta)$ $\theta$

Ich werde der Einfachheit halber Normalisierungsfaktoren weglassen. Beachten Sie auch, dass der Nenner in der Bayes-Regel dazu neigt, Dinge einfach zu renormieren: Kombinieren wir die Exponenten und vervollständigen das Quadrat Denken Sie daran, dass x hier festgelegt ist, weil es beobachtet wurde und wir erwarten möchten, dass unsere Antwort diesbezüglich lautet. Vervollständigen Sie das Quadrat und sehen Sie, dass der Exponent wobei andere Terme von x abhängen. Also:

p (θ | x) \propto e^{- (x - θ)^{2} / 2} e^{- θ^{2} / 2}

$p(\theta|x) \propto e^{-(x-\theta)^2/2} e^{-\theta^2/2}\\$

- (x - θ)^{2} / 2 - θ^{2} / 2 \propto - (x^{2} - 2 θ x + θ^{2}) - θ^{2}

$-(x-\theta)^2/2 - \theta^2/2 \propto - (x^2 - 2\theta x + \theta^2) - \theta^2$

\propto - (θ - x / 2)^{2}

$\propto -(\theta - x/2)^2$

p (θ | x) \propto e^{- a (θ - x / 2)^{2}}

$p(\theta|x) \propto e^{-a(\theta - x/2)^2}$
wobei 'a' ein Faktor ist, der durch Buchhaltung erhalten werden kann. Beachten Sie, dass der hintere Teil eine Normalverteilung mit dem Mittelwert x / 2 ist. Versuchen Sie, die Varianz für sich selbst zu berechnen.

Beachten Sie, dass unsere Antwort intuitiv sinnvoll ist ... der Prior sagte, dass Null ist und wir eine Stichprobe , die den erwarteten Wert von . Da die Varianz des Prior und die Verteilung gleich groß sind, vertrauen wir ihnen gleichermaßen. Dementsprechend ist unser Posterior eine Verteilung mit einem Mittelwert, der der Durchschnitt von und 0 ist und am Ende eine geringere Varianz aufweist als das anfängliche oder (hier nicht gezeigt). $\theta$ $x$ $\theta$ $p(x|\theta)$ $x$ $p(x|\theta)$ $p(x)$

Zum Modellvergleich können Sie sich ein Verhältnis ansehen:

\frac{p (x | θ_{1})}{p (x | θ_{2})}

$\frac{p(x|\theta_1)}{p(x|\theta_2)}$

Dies wird als Wahrscheinlichkeitsverhältnis bezeichnet (siehe Wikipedia oder anderswo). Hier brauchen Sie den Seitenzahn nicht, sondern schauen sich nur an, wie (relativ) wahrscheinlich Ihre Daten (oder Beobachtungen) entweder oder als Parameter des Modells erhalten, das Ihre Beobachtungen generiert hat. $\theta_1$ $\theta_2$

Hoffe das hilft.

— Josh
quelle

Entschuldigung, Ihre Antwort ist falsch. Der Bayes-Faktor ist nicht so definiert!

— Xi'an

Zum Modellvergleich habe ich das Likelihood-Verhältnis beschrieben. Anfangs habe ich fälschlicherweise den Begriff Bayes-Faktor verwendet.

— Josh

Außer , dass Sie nicht wissen und , dass die Beobachtungen erzeugt.

θ_{1}

$\theta_1$

θ_{2}

$\theta_2$

— Xi'an

Ich möchte nur den einfachen Fall beschreiben, in dem Sie zwei hypothetische Werte der Modellparameter haben und vergleichen möchten, wie gut die Daten daraus folgen. Einverstanden, dass Ihre Antwort den richtigen Ansatz bietet, wenn Sie zwei Modellformen haben und diese ohne Kenntnis der spezifischen Parameter vergleichen möchten.

— Josh