Hat die Beta-Distribution ein Konjugat vor?


Antworten:


25

Es scheint, dass Sie die Konjugation bereits aufgegeben haben. Nur zur Veranschaulichung, eine Sache, die ich gesehen habe (aber ich weiß nicht genau, wo, sorry), ist eine Umparametrierung wie diese. Wenn X1,,Xn sind bedingt iid, da α,β , so dass Xichα,βBetein(α,β) , denken Sie daran , dass

E[Xichα,β]=αα+β=:μ
und
Veinr[Xichα,β]=αβ(α+β)2(α+β+1)=:σ2.
Daher können Sieumparametrierendie Wahrscheinlichkeit in Bezug aufμ undσ2 undVerwendung als vor
σ2μU[0,μ(1-μ)]μU[0,1].
Jetzt können Sie den Posterior berechnen und ihn mit Ihrer bevorzugten Berechnungsmethode untersuchen.

4
Nein, nicht MCMC dieses Ding! Quadratur dieses Ding! nur 2 Parameter - Quadratur ist der "Goldstandard" für klein dimensionale Posterioren, sowohl in Bezug auf Zeit als auch Genauigkeit.
Wahrscheinlichkeitsrechnung

3
Eine andere Möglichkeit besteht darin, als Maß für die Genauigkeit zu betrachten und erneut μ = α zu verwendenψ=α+β als Mittelwert. Dies geschieht ständig mit Dirichlet-Prozessen, und die Betaverteilung ist ein Sonderfall. Also werfen Sie vielleicht ein Gamma oder Log-Normal vorψund Uniform aufμ. μ=αα+βψμ
Kerl

2
Sicher ist das nicht konjugiert, richtig?
Kerl

3
Definitiv nicht!
Zen

Hi @ Zen, ich beschäftige mich gerade mit diesem Problem, aber ich bin neu bei Bayesian und bin mir nicht sicher, ob ich die Idee verstehe. Ich habe herausgefunden, dass Sie vorschlagen, 1 0 1 zu findenund dann verwenden Sie Reparametrisierung, aber das war natürlich nicht die Idee. Können Sie mir bitte helfen, zu verstehen?011μ(1-μdμ
Red Noise

23

Ja, es hat ein Konjugat in der exponentiellen Familie. Betrachten wir die drei Parameter Familie Für einige Werte von(a,b,p) istdies integrierbar, obwohl ich nicht genau herausgefunden habe, welche (ich glaube,p0unda<0,b<0sollten funktionieren -p=0entspricht also unabhängigen Exponentialverteilungen Das funktioniert auf jeden Fall, und das konjugierte Update umfasst das Inkrementieren

π(α,βein,b,p){Γ(α+β)Γ(α)Γ(β)}pexp(einα+bβ).
(ein,b,p)p0ein<0,b<0p=0 also dies deutet darauf hin, dass p > 0 auch funktioniert).pp>0

Das Problem, und zumindest ein Teil des Grundes niemand verwendet es, ist , dass dh die normalisierende Konstante hat keine verdeckte Form.

00{Γ(α+β)Γ(α)Γ(β)}pexp(einα+bβ)=?

Ah. Das ist problematisch. Ich wollte sowieso nach einer nicht informativen Version des Konjugats suchen, also könnte ich genauso gut mit einheitlichen Prioritäten für die beiden Parameter beginnen. Vielen Dank.
Dreistes Gleichgewicht

Sie müssen es nicht normalisieren, wenn Sie nur die Wahrscheinlichkeiten vergleichen ...
Neil G

Ich denke , man könnte die Wirkung fehlt in Ihren exp als auch Ausdruck. Es sollte wahrscheinlich p a α , etc. seinpexppeinα
Neil G

@NeilG ist in der exp , Sie müssen nur die Dinge in log Γ ( ) anstelle von Γ ( ) ausdrücken . Doing p ein α ist nur ein reparmetrization, es ändert sich nichts. Nicht sicher, was du meinst "nur Wahrscheinlichkeiten vergleichen". Sie können einen Gibbs-Sampler mit diesem Prior nicht implementieren, ohne etwas wie Metropolis zu verwenden, das den Vorteil der bedingten Konjugation zunichte macht. Die Normalisierungskonstante hängt von a und b ab, die das Setzen eines Prioritäts auf sie oder das Schätzen nach Wahrscheinlichkeitsmethoden usw. beenden. .pexpLogΓ()Γ()peinαeinb
guy

2
Das @NeilG-Integral liegt über und β, da dies die Zufallsvariablen sind. αβ
Kerl

9

In der Theorie sollte es ein Konjugat vor der Beta - Verteilung sein. Das ist weil

Die Herleitung sieht jedoch schwierig aus und es ist schwierig, A Bouchard-Cotes Exponentialfamilien und Conjugate Priors zu zitieren

Eine wichtige Feststellung ist, dass dieses Rezept nicht immer ein Konjugat ergibt, das rechnerisch nachvollziehbar ist.

Dementsprechend gibt es für die Betaverteilung in D Finks A Compendium of Conjugate Priors keine Prioritäten .


3
Die Herleitung ist nicht schwierig - Siehe meine Antwort: mathoverflow.net/questions/63496/…
Neil G

3

Ich glaube nicht, dass es eine "Standard" -Verteilung (dh eine exponentielle Familienverteilung) gibt, die das Konjugat vor der Beta-Verteilung ist. Wenn es eine gibt, muss es sich jedoch um eine bivariate Verteilung handeln.


Ich habe keine Ahnung von dieser Frage, aber ich habe diese praktische konjugierte vorherige Karte gefunden, die Ihre Antwort zu unterstützen scheint: johndcook.com/conjugate_prior_diagram.html
Justin Bozonier

Der konjugierte Prior gehört zur Exponentialfamilie und hat drei Parameter - nicht zwei.
Neil G

1
@Neil, du hast definitiv recht. Ich hätte sagen sollen, dass es mindestens zwei Parameter haben muss.

-1: Diese Antwort ist eindeutig falsch in der Behauptung, dass "Conjugate Prior nicht in der Exponentialfamilie existiert", wie in der obigen Antwort gezeigt wird ...
Jan Kukacka

3

Robert und Casella (RC) beschreiben zufällig die Familie der konjugierten Priors der Beta-Verteilung in Beispiel 3.6 (S. 71 - 75) ihres Buches „ Introducing Monte Carlo Methods“ in R , Springer, 2010. Sie zitieren jedoch das Ergebnis, ohne es zu zitieren eine Quelle.

B(α,β)

π(α,β){Γ(α+β)Γ(α)Γ(β)}λx0αy0β

wobei Hyperparameter sind, da der hintere dann gleich ist{λ,x0,y0}

π(α,β|x){Γ(α+β)Γ(α)Γ(β)}λ(xx0)α((1-x)y0)β."

Der Rest des Beispiels betrifft die Wichtigkeitsabtastung aus , um die marginale Wahrscheinlichkeit von x zu berechnen .π(α,β|x)x


2
π(α,β)(Γ(α+β)Γ(α)Γ(β))λ+1(xx0)α-1(y0(1-x))β-1

1
Ich empfehle demütig, dass das Originalplakat den Beitrag aktualisiert, um anzuzeigen, dass der im Lehrbuch angegebene Posterior gemäß Fred Schoens Kommentar (der leicht zu überprüfen ist) falsch ist.
RMurphy
Durch die Nutzung unserer Website bestätigen Sie, dass Sie unsere Cookie-Richtlinie und Datenschutzrichtlinie gelesen und verstanden haben.
Licensed under cc by-sa 3.0 with attribution required.