Ich arbeite an der Ableitung eines Normal-Wishart-Posterior, stecke aber bei einem der Parameter fest (dem Posterior der Skalenmatrix, siehe unten).
Nur für den Kontext und die Vollständigkeit, hier ist das Modell und der Rest der Ableitungen:
xiμΛ∼N(μ,Λ)∼N(μ0,(κ0Λ)−1)∼W(υ0,W0)
Die erweiterten Formen jedes der drei Faktoren sind (bis zu einer Proportionalitätskonstante):
Wahrscheinlichkeit:
N(xi|μ,Λ)∝|Λ|N/2exp(−12∑i=1N(xTiΛxi−2μTΛxi+μTΛμ))
Normal vor:
N(μ|(μ0,κ0Λ)−1)∝|Λ|1/2exp(−12(μTκ0Λμ−2μTκ0Λμ0+μT0κ0Λμ0))
Wishart prior:
W(Λ|υ0,W0)∝|Λ|υ0−D−12exp(−12tr(W−10Λ))
Wir wollen den hinteren Normal-Wishart ( ), der zerlegt werden kann als sowie :μ,Λ|μ′,κ′,υ′,W′N(μ|μ,κ′Λ)W(Λ|υ′,W′)
Freiheitsgradυ′
Durch Zusammenführen der ersten Faktoren der Wahrscheinlichkeit und des Wishart erhalten wir den ersten Faktor des Wishart-Faktors im hinteren Bereich:
und daher haben wir den ersten Parameter des Seitenzahns:
|Λ|υ0+N−D−12
υ′=υ0+N
Skalierungsfaktorκ′
Wir identifizieren die Elemente, die von und um herauszufinden, wer das vorherige durch die Wahrscheinlichkeit aktualisiert wird:
und daher haben wir den zweiten Parameter:
μ κ 0 Λ μ T ( ( κ 0 + N ) Λ ) μ κ ′ = κ 0 + N.μTμκ0Λ
μT((κ0+N)Λ)μ
κ′=κ0+N
Mittleresμ′
Der dritte Parameter ergibt sich aus der Identifizierung dessen, was sich in :
Und deshalb haben wir den dritten Parameter:
2 μ T ( Λ N ¯ x + κ 0 Λ μ 0 )2μT...μ ' = 1
2μT(ΛNx¯¯¯+κ0Λμ0)(ΛNx¯¯¯+κ0Λμ0)(Nx¯¯¯+κ0μ0)=2μTκ′Λμ′=κ′Λμ′=κ′μ′
μ′=1k′(Nx¯¯¯+κ0μ0)
Skalieren Sie die MatrixW′
Und der vierte Parameter stammt aus der Arbeit an den verbleibenden Parametern:
tr(W′−1Λ)=tr(W−10Λ)+∑i=1NxTiΛxi+μT0κ0Λμ0=tr(W−10Λ)+∑i=1Ntr(xTiΛxi)+tr(μT0κ0Λμ0)=tr(W−10Λ+∑i=1NxTiΛxi+μT0κ0Λμ0)
Wie gehe ich von hier aus vor (wenn ich bisher keine Fehler gemacht habe) und erhalte die Standardlösung für ?W.'
Bearbeiten 1 :
Jetzt ordnen wir die Terme neu an, addieren und subtrahieren einige Faktoren, um zwei Quadrate wie in der Standardlösung zu erhalten:
tr(W′−1Λ)==tr(W−1Λ+∑i=1N(xTiΛxi+x¯¯¯TΛx¯¯¯−2xTiΛx¯¯¯)+κ0(μT0Λμ0+x¯¯¯TΛx¯¯¯−2x¯¯¯TΛμ0)−∑i=1Nx¯¯¯TΛx¯¯¯+2∑i=1NxTiΛx¯¯¯−κ0x¯¯¯TΛx¯¯¯+2κ0x¯¯¯TΛμ0)tr(W−1Λ+∑i=1N(xi−x¯¯¯)Λ(xi−x¯¯¯)T+κ0(x¯¯¯−μ0)Λ(x¯¯¯−μ0)T−Nx¯¯¯Λx¯¯¯T+2Nx¯¯¯Λx¯¯¯T−κ0x¯¯¯Λx¯¯¯T+2κ0x¯¯¯ΛμT0)
Wir vereinfachen die Faktoren, die außerhalb der Quadrate bleiben:
tr(W′−1Λ)=tr(W−1Λ+∑i=1N(xi−x¯¯¯)TΛ(xi−x¯¯¯)+κ0(x¯¯¯−μ0)TΛ(x¯¯¯−μ0)+(N−κ0)x¯¯¯TΛx¯¯¯+2κ0x¯¯¯TΛμ0)
Edit 2 ( Follow-up dank @bdeonovics Antwort )
Die Spur ist zyklisch, also ist . Dann:
und dann:
tr(ABC)=tr(BCA)=tr(CAB)
tr(W′−1Λ)=tr(W−1Λ+∑i=1N(xi−x¯¯¯)(xi−x¯¯¯)TΛ+κ0(x¯¯¯−μ0)(x¯¯¯−μ0)TΛ+(N−κ0)x¯¯¯x¯¯¯TΛ+2κ0x¯¯¯μT0Λ)
tr(W′−1)=tr(W−1+∑i=1N(xi−x¯¯¯)(xi−x¯¯¯)T+κ0(x¯¯¯−μ0)(x¯¯¯−μ0)T+(N−κ0)x¯¯¯x¯¯¯T+2κ0x¯¯¯μT0)
Fast! Aber immer noch nicht da. Das Ziel ist:
W−1+∑i=1N(xi−x¯¯¯)(xi−x¯¯¯)T+κ0Nκ0+N(x¯¯¯−μ0)(x¯¯¯−μ0)T