Verteilung der Vorschläge für die Kovarianzmatrix

8

In einer MCMC-Implementierung hierarchischer Modelle mit normalen Zufallseffekten und einem Wishart-Prior für ihre Kovarianzmatrix wird typischerweise die Gibbs-Abtastung verwendet.

Wenn wir jedoch die Verteilung der zufälligen Effekte ändern (z. B. auf Student's-t oder einen anderen), geht die Konjugation verloren. Was wäre in diesem Fall eine geeignete (dh leicht einstellbare) Angebotsverteilung für die Kovarianzmatrix der zufälligen Effekte in einem Metropolis-Hastings-Algorithmus, und wie hoch sollte die Zielakzeptanzrate sein, wiederum 0,234?

Vielen Dank im Voraus für Hinweise.

mcmc hierarchical-bayesian metropolis-hastings

— Toka Stall
quelle

16

Nun, wenn Sie "nach Hinweisen" suchen ...

Die (skalierte) (inverse) Wishart-Verteilung wird häufig verwendet, da sie mit der multivariaten Wahrscheinlichkeitsfunktion konjugiert ist und somit die Gibbs-Abtastung vereinfacht.

Σ = diag_matrix (σ) Ω diag_matrix (σ)

$\Sigma=\text{diag_matrix}(\sigma)\;\Omega\;\text{diag_matrix}(\sigma)$

σ

$\sigma$

Ω

$\Omega$

$\sigma$ $\Omega$

Ω \sim LKJcorr (ν)

$\Omega\sim\text{LKJcorr}(\nu)$

ν

$\nu$

ν = 1

$\nu=1$

Allerdings habe ich (noch) keine nicht normalen Verteilungen von Zufallseffekten ausprobiert, also hoffe ich, dass ich den Punkt nicht verpasst habe ;-)

— Sergio
quelle

Diese Antwort spricht über den Prior, das OP fragt nach dem Vorschlag ... Helfen diese Prioritäten in irgendeiner Weise bei der Akzeptanzquote?

— Ein alter Mann im Meer.

@Sycorax Was ist mit dem Vorschlag, den das OP gestellt hat? Was soll er verwenden und mit welchen Parametern?

— Ein alter Mann im Meer.

1

$\Sigma^*$ $\Sigma$

Σ^{*} \sim W (Σ / a, a),

$\Sigma^* \sim \mathcal{W}(\Sigma/a,a),$

a

$a$

E [Σ^{*}] = Σ

$E[\Sigma^*]=\Sigma$

a

$a$

(p \times p)

$(p\times p)$

\frac{q (Σ \to Σ^{*})}{q (Σ^{*} \to Σ)} = {(\frac{| Σ^{*} |}{| Σ |})}^{a - (p - 1) / 2} \cdot e^{[t r ({Σ^{*}}^{- 1} Σ) - t r (Σ^{- 1} Σ^{*})] \cdot a / 2}

$\frac{q(\Sigma\to\Sigma^*)}{q(\Sigma^*\to\Sigma)} = \left(\frac{|\Sigma^*|}{|\Sigma|}\right)^{a-(p-1)/2} \cdot e^{[tr({\Sigma^*}^{-1}\Sigma)-tr({\Sigma}^{-1}\Sigma^*)] \cdot a/2}$

— RemiDav
quelle

0

Es ist bekannt, dass bei Verwendung von nicht-Gaußschen Verteilungen die Konjugation des Modells verloren geht, siehe:

http://www.utstat.toronto.edu/wordpress/WSFiles/technicalreports/0610.pdf

Dann müssen Sie andere MCMC-Methoden verwenden, z. B. Metropolis in Gibbs Sampling oder eine adaptive Version davon. Glücklicherweise gibt es dafür ein R-Paket:

http://cran.r-project.org/web/packages/spBayes/index.html

Die empfohlene Akzeptanzrate beträgt 0,44, aber es gibt natürlich einige Annahmen hinter dieser Zahl, ähnlich wie im Fall der 0,234.

Sind Sie der Dimitris Rizopoulos?

— Teco
quelle

@DimitrisRizopoulos Die von mir erwähnte adaptive Metropole mit Gibbs verwendet eine endliche Mischung von Gaußschen Verteilungen als Vorschlagsverteilung (wie in dem von mir veröffentlichten technischen Bericht angegeben). Wenn Sie die Hardcore-Metropole verwenden, fragen Sie nach einer Antwort auf die "Millionen-Dollar-Frage", für die es keine allgemeine Lösung gibt. Normalerweise müssen Sie mit unterschiedlichen Vorschlägen und Akzeptanzraten spielen. Übrigens sehr gutes Buch.

— Teco

0

Jeder Vorschlag kann verwendet werden, wenn Sie Ihren Log-Posterior richtig definieren. Sie müssen nur einige Tricks anwenden, um es zu implementieren und die Unterstützung Ihres Seitenzahns richtig zu definieren, siehe:

Wie finde ich die Unterstützung der posterioren Verteilung, um den Metropolis-Hastings-MCMC-Algorithmus anzuwenden?

Es gibt unzählige Beispiele, bei denen ein Gaußscher Vorschlag für abgeschnittene Posterioren verwendet werden kann. Dies ist nur ein Implementierungstrick. Auch hier stellen Sie eine Frage ohne allgemeine Lösung. Einige Vorschläge weisen sogar eine unterschiedliche Leistung für dasselbe Modell und unterschiedliche Datensätze auf.

Viel Glück.

— Meth
quelle

Nun, wenn man bedenkt, dass die Kovarianzmatrix eindeutig positiv sein muss, erscheint es mir nicht so logisch, irgendeine Verteilung von Vorschlägen zu verwenden. Die vorgeschlagenen Matrizen müssen eindeutig positiv sein. Eine Möglichkeit wäre, die in der Gibbs-Stichprobe verwendete Wishart-Posterior-Bedingung als Vorschlag zu haben. Dies schien jedoch nicht besonders gut zu funktionieren, als ich ein Student-t für die zufälligen Effekte annahm. Daher meine Frage, gibt es andere Arten von Vorschlägen für Kovarianzmatrizen?

— Toka Stall