Multivariate normale posterior

Dies ist eine sehr einfache Frage, aber ich kann die Ableitung nirgendwo im Internet oder in einem Buch finden. Ich würde gerne sehen, wie ein Bayesianer eine multivariate Normalverteilung aktualisiert. Zum Beispiel: Stellen Sie sich das vor

\begin{array}{rcl} P (x | μ, Σ) & = & N (μ, Σ) \\ P (μ) & = & N (μ_{0}, Σ_{0}) . \end{array}

$\begin{array}{rcl} \mathbb{P}({\bf x}|{\bf μ},{\bf Σ}) & = & N({\bf \mu}, {\bf \Sigma}) \\ \mathbb{P}({\bf \mu}) &= & N({\bf \mu_0}, {\bf \Sigma_0})\,. \end{array}$

Nachdem ich eine Menge von , möchte ich berechnen . Ich weiß, dass die Antwort wobei ${\bf x_1 ... x_n}$ $\mathbb{P}({\bf \mu | x_1 ... x_n})$ $\mathbb{P}({\bf \mu | x_1 ... x_n}) = N({\bf \mu_n}, {\bf \Sigma_n})$

\begin{array}{rcl} μ_{n} & = & Σ_{0} {(Σ_{0} + \frac{1}{n} Σ)}^{- 1} (\frac{1}{n} \sum_{i = 1}^{n} x_{i}) + \frac{1}{n} Σ {(Σ_{0} + \frac{1}{n} Σ)}^{- 1} μ_{0} \\ Σ_{n} & = & Σ_{0} {(Σ_{0} + \frac{1}{n} Σ)}^{- 1} \frac{1}{n} Σ \end{array}

$\begin{array}{rcl} \bf \mu_n &=& \displaystyle\Sigma_0 \left(\Sigma_0 + \frac{1}{n}\Sigma\right)^{-1}\left(\frac{1}{n}\sum_{i=1}^{n}{\bf x_i}\right) + \frac{1}{n}\Sigma\left(\Sigma_0+\frac{1}{n}\Sigma\right)^{-1}\mu_0 \\ \bf \Sigma_n & =&\displaystyle \Sigma_0\left(\Sigma_0 + \frac{1}{n}\Sigma\right)^{-1}\frac{1}{n}\Sigma \end{array}$

Ich suche die Herleitung dieses Ergebnisses mit der gesamten Zwischenmatrixalgebra.

Jede Hilfe wird sehr geschätzt.

— Alex
quelle

Es wird auch in unserem Buch Bayesian Core , Kap. 3, Abschnitt 3.2, Seiten 54-57 mit einer unserer Meinung nach detaillierten Matrixalgebra!

— Xi'an

Das OP sagte, es sei kein Problem mit den Hausaufgaben und erklärte sogar, warum er danach gefragt habe und wie er die Antwort verwenden wolle. Warum nicht für andere posten? Ich verstehe, warum wir keinen Problemlösungsservice für Hausaufgaben anbieten wollen, aber dies geht ein bisschen zu weit.

— Michael R. Chernick

@Alex: Sorry, falscher Link, ich meinte Bayesian Core . Beachten Sie, dass wir auch Lösungen für alle Probleme auf arXiv veröffentlicht haben . Eine komplette Lösung hier zu posten würde also nicht schaden!

— Xi'an

Ich habe den Teil der Kommentare gelöscht, der sich auf einen privaten Austausch zwischen Einzelpersonen mit einer Vereinbarung bezieht, eine private Antwort auf die Frage zu teilen. So etwas missbraucht diese Seite, auf der es um öffentliche Fragen und öffentliche Antworten geht.

— whuber

Die Herleitung erfolgt, genau wie zu Ihrer Information, in Pattern Classification von Duda, Hart und Stork. Ich hatte jedoch Schwierigkeiten, einige ihrer Schritte zu befolgen, die nur für mich von Bedeutung sind. Wenn das nur Hausaufgaben wären, könnte man genau aufschreiben, was sie haben.

— Alex

Mit den Verteilungen auf unseren Zufallsvektoren:

$\mathbf x_i | \mathbf \mu \sim N(\mu , \mathbf \Sigma)$

$\mathbf \mu \sim N(\mathbf \mu_0, \mathbf \Sigma_0)$

Nach der Bayes-Regel sieht die hintere Verteilung folgendermaßen aus:

$p(\mu| \{\mathbf x_i\}) \propto p(\mu) \prod_{i=1}^N p(\mathbf x_i | \mu)$

So:

$\ln p(\mu| \{\mathbf x_i\}) = -\frac{1}{2}\sum_{i=1}^N(\mathbf x_i - \mu)'\mathbf \Sigma^{-1}(\mathbf x_i - \mu) -\frac{1}{2}(\mu - \mu_0)'\mathbf \Sigma_0^{-1}(\mu - \mu_0) + const$

$= -\frac{1}{2} N \mu' \mathbf \Sigma^{-1} \mu + \sum_{i=1}^N \mu' \mathbf \Sigma^{-1} \mathbf x_i -\frac{1}{2} \mu' \mathbf \Sigma_0^{-1} \mu + \mu' \mathbf \Sigma_0^{-1} \mu_0 + const$

$= -\frac{1}{2} \mu' (N \mathbf \Sigma^{-1} + \mathbf \Sigma_0^{-1}) \mu + \mu' (\mathbf \Sigma_0^{-1} \mu_0 + \mathbf \Sigma^{-1} \sum_{i=1}^N \mathbf x_i) + const$

$= -\frac{1}{2}(\mu - (N \mathbf \Sigma^{-1} + \mathbf \Sigma_0^{-1})^{-1}(\mathbf \Sigma_0^{-1} \mu_0 + \mathbf \Sigma^{-1} \sum_{i=1}^N \mathbf x_i))' (N \mathbf \Sigma^{-1} + \mathbf \Sigma_0^{-1}) (\mu - (N \mathbf \Sigma^{-1} + \mathbf \Sigma_0^{-1})^{-1}(\mathbf \Sigma_0^{-1} \mu_0 + \mathbf \Sigma^{-1} \sum_{i=1}^N \mathbf x_i)) + const$

Welches ist die log Dichte eines Gaußschen:

$\mu| \{\mathbf x_i\} \sim N((N \mathbf \Sigma^{-1} + \mathbf \Sigma_0^{-1})^{-1}(\mathbf \Sigma_0^{-1} \mu_0 + \mathbf \Sigma^{-1} \sum_{i=1}^N \mathbf x_i), (N \mathbf \Sigma^{-1} + \mathbf \Sigma_0^{-1})^{-1})$

Verwenden der Woodbury-Identität für unseren Ausdruck für die Kovarianzmatrix:

$(N \mathbf \Sigma^{-1} + \mathbf \Sigma_0^{-1})^{-1} = \mathbf \Sigma(\frac{1}{N} \mathbf \Sigma + \mathbf \Sigma_0)^{-1} \frac{1}{N} \mathbf \Sigma_0$

Dies liefert die Kovarianzmatrix in der vom OP gewünschten Form. Verwenden Sie diesen Ausdruck (und seine Symmetrie) weiter im Ausdruck für den Mittelwert, den wir haben:

$\mathbf \Sigma(\frac{1}{N} \mathbf \Sigma + \mathbf \Sigma_0)^{-1} \frac{1}{N} \mathbf \Sigma_0 \mathbf \Sigma_0^{-1} \mu_0 + \frac{1}{N} \mathbf \Sigma_0(\frac{1}{N} \mathbf \Sigma + \mathbf \Sigma_0)^{-1} \mathbf \Sigma \mathbf \Sigma^{-1} \sum_{i=1}^N \mathbf x_i$

$= \mathbf \Sigma(\frac{1}{N} \mathbf \Sigma + \mathbf \Sigma_0)^{-1} \frac{1}{N} \mu_0 + \mathbf \Sigma_0(\frac{1}{N} \mathbf \Sigma + \mathbf \Sigma_0)^{-1} \sum_{i=1}^N (\frac{1}{N} \mathbf x_i)$

Welches ist die Form, die das OP für den Mittelwert benötigt.

— Vermutungen
quelle