Wie vervollständige ich das Quadrat mit normaler Wahrscheinlichkeit und normalem Prior?


8

Wie vervollständige ich das Quadrat ab dem Punkt, an dem ich aufgehört habe, und ist das bisher richtig?

Ich habe einen normalen Prior für der Form , um zu erhalten:p ( β | σ 2 ) N ( 0 , σ 2 V )βp(β|σ2)N.(0,σ2V.)

p(β|σ2)=(2πσ2V.)p2exp[- -12σ2βT.β]]

wo ist .p i = 1 β 2 iβT.βich=1pβich2

Meine Wahrscheinlichkeit hat eine normale Verteilung für die Datenpunkte y der Formp(y|β,σ2)N.(B.β,σ2ich)

p(y|β,σ2)=(2πσ2V.)n2exp[- -12σ2(y- -B.β)T.(y- -B.β)]]

(Beachten Sie, dass eine Matrix / ein Vektor ist, \ bf funktioniert nicht.)β

Um meinen Posterior für zu bekommen, habe ich das Obige kombiniert, nur die exponentiellen Teile genommen und dann erweitert, um zu erhalten:β

exp[- -12σ2(yT.y- -yT.B.β- -βB.T.y- -βT.B.T.B.β)]]exp[- -12σ2(βT.B.)]] .

Ich habe den Begriff gestrichen, da er keine Funktion von .β(yT.y)β

In einen Ausdruck ohne Exponential setzen:

- -12σ2(- -yT.B.β- -βB.T.y- -βT.B.T.B.β+βT.B.) .

Ich weiß, dass ich ähnliche Begriffe kombinieren und in die Form der multivariaten Normalverteilung gelangen muss, was ich anstrebe, aber ich bin mir nicht sicher, wie ich das machen soll? Ich muss dem Ausdruck wahrscheinlich einen zusätzlichen Begriff hinzufügen, um ihn in die richtige Form zu bringen.

Hinweis: Dies sind keine Hausaufgaben, es ist ein Projekt, aber meine Bayes'schen Arbeitskenntnisse sind überhaupt nicht gut und deshalb muss ich das Training verstehen. Ich beabsichtige, die und dann die zu integrieren, nachdem ich in die multivariate Form gekommen bin .σ 2βσ2


2
Wenn Sie nur an der Berechnung interessiert sind, könnte dieser Link von Interesse sein.

Es ist vielleicht nicht Ihre Hausaufgabe, aber ich denke, ich erinnere mich an dieses Problem aus dem Lehrbuch zur Datenanalyse von Gelman et al. Bayes
David LeBauer

Der Link für die Wikipedia-Seite oben ist das, was ich versuche, aber es ist das eigentliche Training, von dem ich nicht weiß, wie ich es machen soll.
Ellie

Ich schaue mir das Buch 'Bayesianische Datenanalyse' an und habe in Kapitel 15 festgestellt, dass es sich in der Tat um ein ähnliches Layout handelt wie das, was ich versuche, aber auch hier gibt es keine Ausarbeitung, der ich folgen könnte.
Ellie

Antworten:


13

Ich fange von vorne an, da der ursprüngliche Beitrag einige mathematische Tippfehler wie falsche Vorzeichen, Löschen der Matrix usw. enthält.V.

Sie haben zuvor und die Wahrscheinlichkeit angegeben: p ( y | β ) = N ( B β , σ 2 I ) .p(β)=N(0,σ2V)p(y|β)=N(Bβ,σ2I)

Wir können jeden dieser Begriffe nur als Ausdruck von Begriffen innerhalb der schreiben , die von β abhängen , und alle Begriffe, die nicht mit β zusammenhängen, in einer einzigen Konstante zusammenfassen:expββ

logp(β)+const=12σ2βTV1β

logp(y|β)+const=12σ2(βTBTBβ2yTBβ)(Beachten Sie, dass immer)yTBβ=βTBTy

Wenn Sie diese im Log-Bereich hinzufügen und ähnliche Begriffe sammeln, erhalten Sie den nicht normalisierten Log-Posterior

logp(β|y)+const=12σ2(βT(V1+BTB)β2yTBβ) (1)

... hier haben wir die Standardidentität für alle Vektoren x und Matrizen A , C geeigneter Größe verwendet.xT.EINx+xT.C.x=xT.(EIN+C.)xxEIN,C.

OK, unser Ziel ist es jetzt, das Quadrat zu "vervollständigen". Wir möchten einen Ausdruck der folgenden Form, der darauf hinweist, dass der hintere Teil für Gaußsch ist.β

Logp(β|y)+const=(β- -μp)T.Λp(β- -μp)=βT.Λpβ- -2μpT.Λpβ+μpT.Λpμp

wobei die Parameter den posterioren Mittelwert bzw. die inverse Kovarianzmatrix definieren. μp,Λp

Nun, durch Inspektion Gl. (1) sieht dieser Form sehr ähnlich, wenn wir setzen

Λp=V.- -1+B.T.B. und μp=Λp- -1B.T.y

Im Detail können wir zeigen, dass diese Substitution jeden notwendigen Term aus (1) erzeugt:

quadratischer Term: βT.Λpβ=βT.(V.- -1+B.T.B.)β

μpT.Λpβ=(Λp- -1B.T.y)T.Λpβ=yT.B.Λp- -1Λpβ=yT.B.β

(EINB.)T.=B.T.EINT.(Λp- -1)T.=Λp- -1Λp

μpT.Λpμpμp,Λp

Logp(β|y)+const=- -12σ2[(β- -μp)T.Λp(β- -μp)- -μpΛpμp]]

β


μpT.Λpμp
Durch die Nutzung unserer Website bestätigen Sie, dass Sie unsere Cookie-Richtlinie und Datenschutzrichtlinie gelesen und verstanden haben.
Licensed under cc by-sa 3.0 with attribution required.