Was sind die Definitionen von halbkonjugierten und bedingten konjugierten Priors?


12

Was sind die Definitionen von halbkonjugierten Priors und von bedingten konjugierten Priors ? Ich habe sie in Gelmans Bayesian Data Analysis gefunden , aber ich konnte ihre Definitionen nicht finden.

Antworten:


16

Unter Verwendung der Definition in der Bayes'schen Datenanalyse (3. Ausgabe) ist die Klasse P für F konjugiert , wenn eine Klasse von Stichprobenverteilungen p ( y | θ ) und P eine Klasse früherer Verteilungen für θ istFp(y|θ)PθPF , wenn

p(θ|y)P for all p(|θ)F and p()P.

Wenn eine Klasse von Abtastverteilungen p ( y | θ , ϕ ) ist und P eine Klasse früherer Verteilungen für θ ist, die von ϕ abhängig sind , dann ist die Klasse P ein bedingtes Konjugat für F.Fp(y|θ,ϕ)PθϕPF wenn

p(θ|y,ϕ)P for all p(|θ,ϕ)F and p(|ϕ)P.

Bedingt konjugierte Priors sind praktisch bei der Konstruktion eines Gibbs-Samplers, da die vollständige Bedingung eine bekannte Familie sein wird.

Ich suchte in einer elektronischen Version der Bayesian Data Analysis (3. Aufl.) Und konnte vorher keinen Hinweis auf ein Halbkonjugat finden. Ich vermute, es ist gleichbedeutend mit bedingt konjugiert, aber wenn Sie einen Hinweis auf seine Verwendung in dem Buch geben, sollte ich in der Lage sein, eine Definition bereitzustellen.


+1. Wie lautet die URL für die 3. Ausgabe der Bayesian Data Analysis?
Patrick Coulombe

1
Vielen Dank! Halbkonjugat erscheint hier (2. Aufl.) Books.google.com/… . Übrigens, wie haben Sie das E-Book für die 3. Ausgabe bekommen?
Tim

1
Ich bin mir nicht sicher, warum dort Semikonjugat vorher steht, da der Prior vollständig konjugiert ist. Diese Aussage wird in der 3. Auflage entfernt. Das eBook kann hier gekauft werden: crcpress.com/product/isbn/9781439840955 .
Jaradniemi

@jaradniemi: In dem Link, den ich oben auf Seite 84 gegeben habe, wird darauf hingewiesen, dass der Semikonjugat-Prior kein Konjugat-Prior ist.
Tim

1
In Worauf bezieht sich jedes der und bezieht sich jedes auf dasselbe?
p(θ|y,ϕ)P for all p(|θ,ϕ)F and p(|ϕ)P.
Muno

6

Ich möchte als Beispiel multivariate Normalen verwenden.

Denken Sie daran, dass die Wahrscheinlichkeit gegeben ist durch

P(y1,y2,...,yn|μ,Σ)=(2π)ND2det(Σ)N2exp(12i=1N(xiμ)TΣ1(xiμ))

In order to find a prior to this likelihood, we may choose

P(μ,Σ)=Normal(μ;μ0,Λ0)InverseWishart(Σ;ν0,S0)

I assure you NOT to worry about μ0,Λ0,ν0,S0 for now; they are simply parameters of the prior distribution.

What is important is, however, that this is not conjugate to the likelihood. To see why, I would like to quote a reference I found online.

note that μ and Σ appear together in a non-factorized way in the likelihood; hence they will also be coupled together in the posterior

The reference is "Machine Learning: A Probabilistic Perspective" by Kevin P. Murphy. Here is the link. You may find the quote in Section 4.6 (Inferring the parameters of an MVN) at the top of page 135.

To continue the quote,

The above prior is sometimes called semi-conjugate or conditionally conjugate, since both conditionals, p(μ|Σ) and p(Σ|μ), are individually conjugate. To create a full conjugate prior, we need to use a prior where μ and Σ are dependent on each other. We will use a joint distribution of the form

p(μ,Σ)=p(Σ)p(μ|Σ)

The idea here is that the first prior distribution

P(μ,Σ)=Normal(μ;μ0,Λ0)InverseWishart(Σ;ν0,S0)

assumes that μ and Σ are separable (or independent in a sense). Nevertheless, we observe that in the likelihood function, μ and Σ cannot be factorized out separately, which implies that they will not be separable in the posterior (Recall, (Posterior)(Prior)(Likelihood)). This shows that the "un-separable" posterior and "separable" prior at the beginning are not conjugate. On the other hand, by rewriting

p(μ,Σ)=p(Σ)p(μ|Σ)

such that μ and Σ depend on each other (through p(μ|Σ)), you will obtain a conjugate prior, which is named as semi-conjugate prior. This hopefully answers your question.

p.s.: Another really helpful reference I have used is "A First Course in Bayesian Statistical Methods" by Peter D. Hoff. Here is a link to the book. You may find relevant content in Section 7 starting from page 105, and he has a very good explanation (and intuition) about single-variate normal distribution in Section 5 starting from page 67, which will be reinforced again in Section 7 when he deals with MVN.


1

If F is a class of sampling distributions p(y|θ,ϕ), and P is a class of prior distributions for θ, then the class P is semiconjugate for F if p(θ|y,ϕ)P for all p(|θ,ϕ)F and p(θ,ϕ)=p(θ)×p(ϕ), where p(θ)P and p(ϕ) does not belong to class P.

Durch die Nutzung unserer Website bestätigen Sie, dass Sie unsere Cookie-Richtlinie und Datenschutzrichtlinie gelesen und verstanden haben.
Licensed under cc by-sa 3.0 with attribution required.