Wie wirkt sich der Beta-Prior unter binomialer Wahrscheinlichkeit auf den posterioren Bereich aus?

Ich habe zwei Fragen,

Frage 1: Wie kann ich zeigen, dass die hintere Verteilung eine Beta-Verteilung ist, wenn die Wahrscheinlichkeit binomial und die vorherige eine Beta ist?

Frage 2: Wie wirkt sich die Auswahl der vorherigen Parameter auf den posterioren Bereich aus? Sollten sie nicht alle gleich sein?

Ist es möglich, diese Fragen in R zu beantworten?

Um Ihre erste Frage zu beantworten, müssen wir nur den Bayes-Satz verwenden, um unsere Binomialwahrscheinlichkeit mit der vorherigen Beta zu aktualisieren. Um dies besser zu verstehen, beobachten Sie zunächst das folgende Ergebnis: wobei wir das Proportionalitätsergebnis verwenden können, da die Beta-Verteilung das Konjugat vor der Binomialwahrscheinlichkeit ist.

$$p(\theta|\mathbf{x})=\frac{p(\mathbf{x}|\theta)p(\theta)}{\int_{\Theta}p(\mathbf{x}|\theta)p(\theta)d\theta}\propto p(\mathbf{x}|\theta)p(\theta)$$

Nun sei und θ ∼ Beta ( α , β ) . Wir können nun den Bayes-Satz verwenden, um den Seitenzahn wie folgt zu berechnen:$x_i\sim\text{Binomial}(N_i,\theta)$$\theta\sim\text{Beta}(\alpha,\beta)$

s=∑ n i = 1 xiN=∑ n i = 1 N

$$\begin{align} p(\theta|\mathbf{x})&\propto p(\mathbf{x}|\theta)p(\theta)\\ &\\ &\propto \binom{N}{x_i}\theta^{s}(1-\theta)^{N-s}\frac{\Gamma(\alpha+\beta)}{\Gamma(\alpha)\Gamma(\beta)}\theta^{\alpha-1}(1-\theta)^{\beta-1}\\ &\\ &\propto \theta^{s}(1-\theta)^{N-s}\theta^{\alpha-1}(1-\theta)^{\beta-1}\\ &\\ &\propto\theta^{\alpha+s-1}(1-\theta)^{\beta+N-s-1} \end{align}$$ wobei und$s=\sum_{i=1}^nx_i$$N=\sum_{i=1}^nN_i$

Jetzt erkennen wir die proportionale rechte Seite der Gleichung als den Kern einer anderen Beta-Verteilung mit aktualisierten Parametern und

$$\alpha^*=\alpha+\sum_{i=1}^nx_i$$ $$\beta^*=\beta+\sum_{i=1}^nN_i-\sum_{i=1}^nx_i$$

Betrachten Sie nun für den zweiten Teil Ihres Problems die folgenden Diagramme der Posterioren mit unterschiedlichen vorherigen Verteilungen.

Das obige Diagramm besteht aus fünf verschiedenen früheren Verteilungen:

$$\begin{align*} \text{Prior }1&:\,\,\theta\sim\text{Beta}(.5,.5)\\ \text{Prior }1&:\,\,\theta\sim\text{Beta}(5,1)\\ \text{Prior }1&:\,\,\theta\sim\text{Beta}(1,3)\\ \text{Prior }1&:\,\,\theta\sim\text{Beta}(2,2)\\ \text{Prior }1&:\,\,\theta\sim\text{Beta}(2,5) \end{align*}$$

Obwohl die posteriore Verteilung durch die Wahl des Prior in dieser Situation nicht wesentlich verändert zu sein scheint, ist dies nicht immer der Fall. Hätten wir beispielsweise eine Stichprobe aus einer Binomialverteilung (im Code) mit , würden wir sehen, dass sich die hintere Verteilung durch die Wahl der vorherigen Verteilung drastisch ändert.$N=2$

Hier ist der RCode, mit dem alles generiert wird:

colors = c("red","blue","green","orange","purple")

n = 10
N = 10
theta = .2

x = rbinom(n,N,theta)
grid = seq(0,2,.01)


alpha = c(.5,5,1,2,2)
beta = c(.5,1,3,2,5)

plot(grid,grid,type="n",xlim=c(0,1),ylim=c(0,4),xlab="",ylab="Prior Density",
     main="Prior Distributions", las=1)
for(i in 1:length(alpha)){
    prior = dbeta(grid,alpha[i],beta[i])
    lines(grid,prior,col=colors[i],lwd=2)
}

legend("topleft", legend=c("Beta(0.5,0.5)", "Beta(5,1)", "Beta(1,3)", "Beta(2,2)", "Beta(2,5)"),
       lwd=rep(2,5), col=colors, bty="n", ncol=3)

for(i in 1:length(alpha)){
    dev.new()
    plot(grid,grid,,type="n",xlim=c(0,1),ylim=c(0,10),xlab="",ylab="Density",xaxs="i",yaxs="i",
    main="Prior and Posterior Distribution")

    alpha.star = alpha[i] + sum(x)
    beta.star = beta[i] + n*N - sum(x)
    prior = dbeta(grid,alpha[i],beta[i])
    post = dbeta(grid,alpha.star,beta.star)

    lines(grid,post,lwd=2)
    lines(grid,prior,col=colors[i],lwd=2)
    legend("topright",c("Prior","Posterior"),col=c(colors[i],"black"),lwd=2)

}