Wann sollte ich mir Sorgen um das Jeffreys-Lindley-Paradoxon bei der Wahl des Bayes'schen Modells machen?

Ich betrachte einen großen (aber begrenzten) Raum von Modellen unterschiedlicher Komplexität, die ich mit RJMCMC erforsche . Das Voranstellen des Parametervektors für jedes Modell ist ziemlich informativ.

In welchen Fällen (wenn überhaupt) sollte ich mir Sorgen machen, dass das Jeffreys-Lindley-Paradoxon einfachere Modelle bevorzugt, wenn eines der komplexeren Modelle besser geeignet wäre?
Gibt es einfache Beispiele, die die Probleme des Paradoxons bei der Wahl des Bayes'schen Modells aufzeigen?

Ich habe einige Artikel gelesen, nämlich Xi'ans Blog und Andrew Gelmans Blog , aber ich verstehe das Problem immer noch nicht ganz.

— Jeff
quelle

Ich denke, es gibt zu viele Fragen, und sie sind zu eindeutig, um hier effektiv beantwortet zu werden.

— Jaradniemi

Vielen Dank für die Rückmeldung, @jaradniemi, ich habe die Frage "Sollte die RJMCMC-Prozedur, die effektiv die posterioren Modellwahrscheinlichkeiten zurückgibt, dieselben Modelle wie DIC bevorzugen?" Entfernt.

— Jeff

Entschuldigen Sie die Unklarheit in meinem Blog !

Hinweis: In dieser anderen Antwort auf Cross Validated habe ich einige Hintergrundinformationen zur Auswahl des Bayes'schen Modells und zum Jeffreys-Lindley-Paradoxon gegeben .

Das Jeffreys-Lindley paradox ist verwandt mit Bayes - Modell Wahl, dass die marginale Likelihood wird bedeutungsloswenn a -finite Maßnahme (dh ein Maß mit unendlicher Masse) eher als ein Wahrscheinlichkeitsmaß. Der Grund für diese Schwierigkeit istdass die unendliche Masse macht und ununterscheidbar für jede positive Konstante . Insbesondere der Bayes-Faktor kann nicht verwendet werden und sollte nicht verwendet werden, wenn ein Modell mit einem "flachen" Vorgänger ausgestattet ist.

m (x) = \int π (θ) f (x | θ) d θ

$m(x)=\int \pi(\theta) f(x|\theta)\,\text{d}\theta$

π

$\pi$

σ

$\sigma$

π

$\pi$

c π

$\mathfrak{c}\pi$

c

$\mathfrak{c}$

Das ursprüngliche Jeffreys-Lindley-Paradoxon verwendet die Normalverteilung als Beispiel. Beim Vergleich der Modelle und der Faktor Bayes ist

x \sim N (0, 1)

$x\sim\mathcal{N}(0,1)$

x \sim N (θ, 1)

$x\sim\mathcal{N}(\theta,1)$

Es ist gut definiertwenn

ein richtiges ist voraber wenn Sie einen normalen Stand nehmen

auf

und lassen

bis ins Unendliche zu gehen, geht der Nenner auf Null für jeden Wert von

von Null verschieden und ein beliebiger Wert von

. (Es sei denn,

und

sind verwandt, dies wird jedoch komplizierter!) Verwenden Sie stattdessen direkt

wobei

eine notwendigerweise willkürliche Konstante ist, den Bayes-Faktor

B_{12} = \frac{\exp {- n ({\bar{x}}_{n})^{2} / 2}}{\int_{- \infty}^{+ \infty} \exp {- n ({\bar{x}}_{n} - θ)^{2} / 2} π (θ) d θ}

$\mathfrak{B}_{12}=\dfrac{\exp\{-n(\bar{x}_n)^2/2\}}{\int_{-\infty}^{+\infty}\exp\{-n(\bar{x}_n-\theta)^2/2\}\pi(\theta)\,\text{d}\theta}$

π

$\pi$

N (0, τ^{2})

$\mathcal{N}(0,\tau^2)$

θ

$\theta$

τ

$\tau$

{\bar{x}}_{n}

$\bar{x}_n$

n

$n$

τ

$\tau$

n

$n$

π (θ) = c

$\pi(\theta)=\mathfrak{c}$

c

$\mathfrak{c}$

wird

B_{12}

$\mathfrak{B}_{12}$

daher direkt abhängig von

B_{12} = \frac{\exp {- n ({\bar{x}}_{n})^{2} / 2}}{c \int_{- \infty}^{+ \infty} \exp {- n ({\bar{x}}_{n} - θ)^{2} / 2} d θ} = \frac{\exp {- n ({\bar{x}}_{n})^{2} / 2}}{c \sqrt{2 π / n}}

$\mathfrak{B}_{12}=\dfrac{\exp\{-n(\bar{x}_n)^2/2\}}{\mathfrak{c}\int_{-\infty}^{+\infty}\exp\{-n(\bar{x}_n-\theta)^2/2\}\,\text{d}\theta}=\dfrac{\exp\{-n(\bar{x}_n)^2/2\}}{\mathfrak{c}\sqrt{2\pi/n}}$

c

$\mathfrak{c}$

Wenn Ihre Prioritäten informativ (und daher korrekt) sind, gibt es keinen Grund für das Jeffreys-Lindley-Paradoxon. Bei einer ausreichenden Anzahl von Beobachtungen wählt der Bayes-Faktor das Modell, das die Daten generiert hat, konsistent aus. (Oder genauer gesagt, das Modell innerhalb der Modellsammlung, das für die Modellauswahl in Betracht gezogen wird und dem "wahren" Modell, das die Daten generiert hat, am nächsten kommt.)

— Xi'an
quelle

Vielen Dank für Ihre sehr detaillierte Antwort, Xi'an! Ihr Blog ist sehr klar (ich habe viel daraus gelernt). Ich habe dieses spezielle Problem nur langsam verstanden!

— Jeff

Eigentlich arbeitet mein Blog mit sehr variablen Annahmen bezüglich Hintergrund und Voraussetzung, so dass es sicher zuweilen und für viele Leser unklar ist!

— Xi'an,