Abschätzung der Kovarianz-Posterior-Verteilung eines multivariaten Gaußschen

15

Ich muss die Verteilung eines bivariaten Gaußschen mit wenigen Stichproben "lernen", aber eine gute Hypothese zur vorherigen Verteilung, also möchte ich den Bayes'schen Ansatz verwenden.

Ich habe meinen Prior definiert:

P (μ) \sim N (μ_{0}, Σ_{0})

$\mathbf{P}(\mathbf{\mu}) \sim \mathcal{N}(\mathbf{\mu_0},\mathbf{\Sigma_0})$

μ_{0} = [\begin{matrix} 0 \\ 0 \end{matrix}] Σ_{0} = [\begin{matrix} 16 & 0 \\ 0 & 27 \end{matrix}]

$\mathbf{\mu_0} = \begin{bmatrix} 0 \\ 0 \end{bmatrix} \ \ \ \mathbf{\Sigma_0} = \begin{bmatrix} 16 & 0 \\ 0 & 27 \end{bmatrix}$

Und meine Verteilung erhält die Hypothese

P (x | μ, Σ) \sim N (μ, Σ)

$\mathbf{P}(x|\mathbf{\mu},\mathbf{\Sigma}) \sim \mathcal{N}(\mathbf{\mu},\mathbf{\Sigma})$

μ = [\begin{matrix} 0 \\ 0 \end{matrix}] Σ = [\begin{matrix} 18 & 0 \\ 0 & 18 \end{matrix}]

$\mathbf{\mu} = \begin{bmatrix} 0 \\ 0 \end{bmatrix} \ \ \ \mathbf{\Sigma} = \begin{bmatrix} 18 & 0 \\ 0 & 18 \end{bmatrix}$

Jetzt weiß ich dank hier, dass man den Mittelwert anhand der Daten schätzen kann

P (μ | x_{1}, \dots, x_{n}) \sim N ({\hat{μ}}_{n}, {\hat{Σ}}_{n})

$\mathbf{P} (\mathbf{\mu} | \mathbf{x_1}, \dots , \mathbf{x_n}) \sim \mathcal{N}(\mathbf{\hat{\mu}_n}, \mathbf{\hat{\Sigma}_n})$

Ich kann berechnen:

{\hat{μ}}_{n} = Σ_{0} {(Σ_{0} + \frac{1}{n} Σ)}^{- 1} (\frac{1}{n} \sum_{i = 1}^{n} x_{i}) + \frac{1}{n} Σ {(Σ_{0} + \frac{1}{n} Σ)}^{- 1} μ_{0}

$\mathbf{\hat{\mu}_n} = \mathbf{\Sigma_0} \left( \mathbf{\Sigma_0} + {1 \over n} \mathbf{\Sigma} \right) ^ {-1} \left( {1 \over n} \sum_{i=1}^{n} \mathbf{x_i} \right) + {1 \over n} \mathbf{\Sigma} \left( \mathbf{\Sigma_0} + {1 \over n} \mathbf{\Sigma} \right) ^{-1} \mathbf{\mu_0}$

{\hat{Σ}}_{n} = \frac{1}{n} Σ_{0} {(Σ_{0} + \frac{1}{n} Σ)}^{- 1} Σ

$\mathbf {\hat{\Sigma}_n} = {1 \over n} \mathbf{\Sigma_0} \left( \mathbf{\Sigma_0} + {1 \over n} \mathbf{\Sigma} \right) ^{-1} \mathbf{\Sigma}$

Nun kommt die Frage, vielleicht liege ich falsch, aber es scheint mir, dass nur die Kovarianzmatrix für den geschätzten Parameter ist und nicht die geschätzte Kovarianz meiner Daten. Was ich gerne hätte wäre auch zu rechnen $\mathbf{\Sigma_n}$ $\mathbf{\mu_n}$

P (Σ_{n_{1}} | x_{1}, \dots, x_{n})

$\mathbf{P} (\mathbf{\Sigma_{n_1}} | \mathbf{x_1}, \dots , \mathbf{x_n})$

um eine vollständige Verteilung aus meinen Daten lernen zu lassen.

Ist das möglich? Wird es bereits durch das Berechnen von gelöst und wird die obige Formel nur falsch ausgedrückt (oder ich interpretiere sie einfach falsch)? Hinweise würden geschätzt. Danke vielmals. $\mathbf{\Sigma_n}$

BEARBEITEN

Aus den Kommentaren ging hervor, dass mein Ansatz "falsch" war, in dem Sinne, dass ich eine konstante Kovarianz annahm, definiert durch . Was ich brauche, wäre, auch einen Prior darauf zu setzen, , aber ich weiß nicht, welche Distribution ich verwenden soll und wie ich sie anschließend aktualisiere. $\mathbf{\Sigma}$ $\mathbf{P}(\mathbf{\Sigma})$

— unziberla
quelle

Sie haben die Kovarianz Ihrer Daten bereits als - und Sie haben keine vorherige Verteilung angegeben, damit diese aktualisiert wird von?

Σ = [\begin{matrix} 18 & 0 \\ 0 & 18 \end{matrix}]

$\mathbf{\Sigma} = \begin{bmatrix} 18 & 0 \\ 0 & 18 \end{bmatrix}$

— Corone

Ich verstehe dein Argument. Bei meinem Ansatz ging ich also grundsätzlich davon aus, dass die Varianz konstant und spezifiziert war. Wenn ich es einschätzen will, brauche ich eine Voranmeldung. Nun ist mein Problem, dass es nicht klar ist, wie es geht definieren Sie es, und was wäre eine angemessene Verteilung dafür, aber dies scheint aus dem Rahmen der ersten Frage zu sein.

P (Σ) \sim F (μ_{Σ}, Σ_{Σ})

$\mathbf{P}(\mathbf{\Sigma}) \sim \mathcal{F} (\mathbf{\mu_{\Sigma}} , \Sigma_{\Sigma})$

— Unziberla

Dann ändern Sie die Frage :-)

— Corone

11

Sie können Bayes'sche Aktualisierungen für die Kovarianzstruktur in etwa der gleichen Weise durchführen, wie Sie den Mittelwert aktualisiert haben. Das vorrangige Konjugat für die Kovarianzmatrix der multivariaten Normalen ist die Inverse-Wishart-Verteilung. Es ist also sinnvoll, dort zu beginnen.

$P(\Sigma) \sim W^{-1}(\mathbf{\Psi}, \nu)$

Wenn Sie dann Ihr Stichproben- der Länge , können Sie die Stichproben-Kovarianzschätzung berechnen. $X$ $n$ $\Sigma_X = \frac{1}{n}(X-\mu)^\top(X-\mu)$

Dies kann dann verwendet werden, um Ihre Schätzung der Kovarianzmatrix zu aktualisieren

$P(\Sigma|X) \sim W^{-1}(n\Sigma_X + \mathbf{\Psi}, n + \nu)$

Sie können den Mittelwert als Punktschätzung für die Kovarianz verwenden (Posterior Mean Estimator).

$E[\Sigma|X] = \frac{n\Sigma_X + \mathbf{\Psi}}{\nu+n-p-1}$

oder Sie wählen den Modus (Maximum A Posteriori Estimator)

$\text{Mode}[\Sigma|X] = \frac{n\Sigma_X + \mathbf{\Psi}}{\nu+n+p+1}$

— Corone
quelle

Danke vielmals. Jetzt gehe ich davon aus, dass sich etwas an meinem Schätzprozess ändern wird. Als ersten Schritt sollte ich die Kovarianz mit Ihrer Prozedur abschätzen, dann lautet meine Verteilung unter der geschätzten Hypothese und da geschätzt wird und eine eigene Verteilung hat, bin ich mir ziemlich sicher, dass dies irgendwie meine vorherige Formel ändern wird, um zu berechnen. (wie es beim Gaußschen MLE bei Verwendung der Stichprobenvarianz der Fall ist).

\hat{Σ}

$\mathbf{\hat{\Sigma}}$

P (X | μ, \hat{Σ})

$\mathbf{P} (\mathbf{X} | \mu, \mathbf{\hat{\Sigma}} )$

\hat{Σ}

$\mathbf{\hat{\Sigma}}$

{\hat{μ}}_{n}

$\mathbf{\hat{\mu}_n}$

— Unziberla

Der von Ihnen beschriebene Ansatz wäre stattdessen die Verwendung von so dass ich einen tatsächlichen Wert für die Kovarianz habe, als ob ich es vorher gewusst hätte. In einem frequentistischen Ansatz würde dies falsch klingen, aber vielleicht fehlt mir etwas an der Tatsache, dass ich davon ausgehe, dass der Prior bekannt ist und dies das Verfahren korrekt macht?

\hat{Σ} = E [Σ | x_{1} \dots x_{n}]

$\mathbf{\hat{\Sigma}} = E[ \Sigma | \mathbf{x_1} \dots \mathbf{x_n} ]$

— Unziberla

7

Ok, ich habe die richtige Lösung für mein Problem gefunden. Ich poste es, auch wenn die richtige Antwort auf meine (verlegte) Frage die ausgewählte ist.

Grundsätzlich erklärt meine Frage, wie man den Mittelwert unter Kenntnis der Kovarianz abschätzt und wie man den Mittelwert unter Kenntnis der Kovarianz abschätzt. Mein eigentliches Problem war jedoch die Schätzung mit beiden unbekannten Parametern.

Ich habe die Antwort auf Wikipedia mit der hier erläuterten Ableitung gefunden . Der konjugierte Prior der multivariaten Normalen ist der Normal-Inverse-Wishart, dh eine Verteilung über multivariate Normalen.

Die vorherigen Parameter, die angegeben werden müssen, sind , um den Mittelwert zu definieren, , um die Kovarianz zu definieren, und zwei Skalarwerte und , die ich sagen würde, definieren, wie sicher wir sind auf die Schätzung der ersten beiden Parameter. $\mathbf{\mu}_0$ $\mathbf{\Psi}$ $\kappa_0$ $\nu_0$

Die aktualisierte Verteilung nach Beobachtung von Abtastwerten einer Variablen Normal hat die Form $n$ $p$

P (μ, Σ | X) \sim N I W (\frac{κ_{0} μ_{0} + n \bar{x}}{κ_{0} + n}, κ_{0} + n, ν_{0} + n, Ψ + C + \frac{κ_{0} n}{κ_{0} + n} (\bar{x} - μ_{0}) (\bar{x} - μ_{0})^{T})

$\mathbf{P}(\boldsymbol\mu, \mathbf{\Sigma} | \mathbf{X}) \sim \mathrm{NIW} \left( \frac{\kappa_0\boldsymbol\mu_0+n\mathbf{\bar{x}}}{\kappa_0+n} ,\, \kappa_0+n,\, \nu_0+n ,\, \boldsymbol\Psi + \mathbf{C} + \frac{\kappa_0 n}{\kappa_0+n}(\mathbf{\bar{x}}-\boldsymbol\mu_0)(\mathbf{\bar{x}}-\boldsymbol\mu_0)^T \right)$

wo

\bar{x} = \frac{1}{n} \sum_{i = 0}^{n} x_{i}

$\mathbf{\bar{x}} = {1 \over n} \sum_{i=0}^{n} \mathbf{x_i}$

C = \sum_{i = 1}^{n} (x_{i} - \bar{x}) (x_{i} - \bar{x})^{T}

$\mathbf{C} = \sum_{i=1}^n (\mathbf{x_i} - \mathbf{\bar{x}}) (\mathbf{x_i} - \mathbf{\bar{x}})^T$

Also meine gewünschten geschätzten Parameter sind

E (μ | X) = \frac{κ_{0} μ_{0} + n \bar{x}}{κ_{0} + n}

$E (\boldsymbol\mu | \mathbf{X}) = {{\kappa_0\boldsymbol\mu_0+n\mathbf{\bar{x}}} \over{\kappa_0+n} }$

E (Σ | X) = \frac{Ψ + C + \frac{κ_{0} n}{κ_{0} + n} (\bar{x} - μ_{0}) (\bar{x} - μ_{0})^{T}}{ν_{0} + n - p - 1}

$E (\mathbf{\Sigma} | \mathbf{X}) = \frac{ \boldsymbol\Psi + \mathbf{C} + \frac{\kappa_0 n}{\kappa_0+n}(\mathbf{\bar{x}}-\boldsymbol\mu_0)(\mathbf{\bar{x}}-\boldsymbol\mu_0)^T }{ \nu_0 + n - p - 1}$

— unziberla
quelle