Wann versagt die asymptotische Normalität des Bayes'schen Seitenzahns (Bernstein-von-Mises)?

Betrachten Sie die posteriore Dichtefunktion, die (wie üblich) durch mit vorheriger Dichte und Verteilung der Beobachtungen , abhängig vom Parameterwert .

π (θ) \prod_{i = 1}^{n} f (x_{i}; θ),

$\pi(\theta) \prod_{i=1}^n f(x_i;\theta),$

π

$\pi$

f (\cdot; θ)

$f(\cdot;\theta)$

n

$n$

x_{1}, \dots, x_{n}

$x_1, \dots, x_n$

θ

$\theta$

Unter bestimmten Bedingungen ist die posteriore Verteilung asymptotisch normal (ein Ergebnis, das als Bernstein-von-Mises-Theorem bekannt ist, siehe z. B. Vaart, Asymptotic Statistics , Abschnitt 10.2 für strenge Argumente oder Young & Smith, Essentials of Statistical Inference , Abschnitt 9.12 für eine informelle Diskussion.)

Gibt es (hoffentlich elementare) Beispiele, bei denen der Bayes'sche Posterior nicht asymptotisch normal ist? Insbesondere gibt es Beispiele wo

$\pi$ und sind kontinuierlich differenzierbar in Bezug auf ? $f$ $\theta$
$\pi(\theta) > 0$ für alle ? $\theta$

Ein Beispiel, das ich in der Literatur notiert habe, ist das, wo unabhängige Cauchy-Zufallsvariablen mit dem Ortsparameter . In diesem Fall existieren mit positiver Wahrscheinlichkeit mehrere lokale Maxima der Wahrscheinlichkeitsfunktion (siehe Young & Smith, Beispiel 8.3). Vielleicht stellt dies ein Problem im B-vM-Theorem dar, obwohl ich nicht sicher bin. $X_1, \dots, X_n$ $\theta$

Update: Ausreichende Bedingungen für BvM sind (wie in vd Vaart, Abschnitt 10.2 angegeben):

Daten werden aus der Verteilung mit dem festen Parameter $\theta_0$
Das Experiment ist bei mit der nicht singulären Fisher-Informationsmatrix im quadratischen Mittel $\theta_0$ $I(\theta_0)$
Der Prior ist in einem Bereich um absolut stetig $\theta_0$
Das Modell ist kontinuierlich und identifizierbar
Es gibt einen Test, der von für einige $H_0 : \theta = \theta_0$ $H_1 : \|\theta -\theta_0\| \geq \varepsilon$ $\varepsilon > 0$

bayesian asymptotics

— Joris Bierkens
quelle

Ich denke, es ist relevanter, ob die KL-Unterstützung von Prior den TRUE-Parameter enthält.

— Henry.L

1. Widerspricht das Cauchy-Beispiel dem Bernstein-von-Mises-Theorem?

Nein. Der Satz von Bernstein von-Mises ist nicht anwendbar, wenn die gemeinsame Verteilung keinen differenzierbaren zweiten Moment hat. Und offensichtlich haben gemeinsame iuch Cauchy-Zufallsvariablen nicht einmal einen endlichen zweiten Moment. Diese Bedingung erfordert eine begrenzte Energieannahme auf der Riemannschen Mannigfaltigkeit, die durch die Rao-Fisher-Metrik definiert ist und von Cauchys nicht erfüllt wird.

2. Gibt es (hoffentlich elementare) Beispiele, bei denen der Bayes'sche Posterior nicht asymptotisch normal ist? Gibt es insbesondere Beispiele, bei denen in Bezug auf kontinuierlich differenzierbar sind ? für alle ? $\pi,f$ $\theta$ $\pi(\theta)>0$ $\theta$

Ja. In der Tat können wir einen (nicht informativen) unpassenden vor wählen, wodurch der hintere ebenfalls unpassend wird. Zum Beispiel ist ein triviales Beispiel. Ein falscher posterior kann nicht normal sein. Zum Beispiel lieferte [Rubio & Steel] (14) ein Beispiel, bei dem Jeffereys zuvor zu einem unpassenden Seitenzahn führte, der unabhängig von der Größe der Stichprobe nicht normal sein kann. $\pi\propto C_0$ $f\propto C_1$

Referenz

[Rubio & Steel] Rubio, Francisco J. und Mark FJ Steel. "Inferenz in zweiteiligen Modellen im Standortmaßstab mit Jeffreys Priors." Bayesian Analysis 9.1 (2014): 1-22.

— Henry.L
quelle

Vielen Dank, Henry.L, das ist sehr nützlich, ich werde die Referenz nachschlagen. Ich bin froh, dass die Frage endlich Beachtung gefunden hat!

— Joris Bierkens

Können Sie ein einfaches Beispiel mit einem richtigen Prior geben?

— Cagdas Ozgenc