Richtige Verwendung von Pseudo-Priors bei der Bayes'schen Modellauswahl

Ein Ansatz zum Modellvergleich in einem Bayes'schen Rahmen verwendet eine Bernoulli-Indikatorvariable, um zu bestimmen, welches von zwei Modellen wahrscheinlich das "wahre Modell" ist. Bei der Anwendung von MCMC-basierten Werkzeugen zum Anpassen eines solchen Modells werden häufig Pseudo-Priors verwendet, um das Mischen in den Ketten zu verbessern. Sehen Sie hier für eine sehr zugängliche Behandlung von warum pseudo-priors nützlich sind.

In ihrer wegweisenden Arbeit zu diesem Thema stellen Carlin & Chib (S. 475) fest, dass "die Form von [dem Pseudo-Prior] irrelevant ist", was ich damit meine, dass sie die posteriore Inferenz basierend auf dem Modell nicht beeinflussen sollte (obwohl Dies kann die MCMC-Mischung während der Modellanpassung beeinflussen. Meine Vermutung ist jedoch, dass die Form des Pseudo-Prior DOES eine Rolle spielt. Ich habe dies zuvor in dieser Frage gefragt . @ Xi'an kommentierte (4. Kommentar): "Die Schlussfolgerung, welches Modell korrekt ist, hängt nicht von den Pseudo-Priors ab ".

Kürzlich habe ich Kommentare von Martyn Plummer gelesen , die meinem Verständnis von Carlin & Chib widersprechen. Martyn sagt: " Damit die Carlin-Chib-Methode funktioniert, muss der Pseudo-Prior mit dem Posterior übereinstimmen, wenn das Modell wahr ist. "

(Ich sage NICHT, dass Plummer Carlin & Chib widerspricht; nur, dass er meinem Verständnis von Carlin & Chibs Behauptung widerspricht ).

All dies lässt mich mit fünf Fragen zurück:

1. Was geht hier vor sich? Vorausgesetzt, dass das Modell konvergiert und eine gute effektive Stichprobengröße vom posterioren ergibt, hängt meine Schlussfolgerung darüber, welche Variablen in ein Modell aufgenommen werden sollen, von meinem Pseudo-Prior ab?
2. Wenn nicht, wie können wir dies mit meiner Intuition und Plummers Kommentar in Einklang bringen ? Wenn ja, wie können wir dies mit Carlin & Chibs Papier und Xi'ans Kommentar (4. Kommentar) in Einklang bringen ?
3. Wenn mein Verständnis von Plummers Kommentar korrekt ist und die Pseudo-Priors dem Posterior entsprechen müssen, wenn die Variable enthalten ist ... bedeutet dies, dass es für Pseudo-Priors unzulässig ist, genau den wahren Priors zu entsprechen? Dies würde bedeuten, dass Pseudo-Priors viel mehr als eine bequeme Technik sind, um das Mischen in der MCMC zu verbessern !!

4. Was ist, wenn die Indikatorvariable einen Teil des Modells mit mehreren Parametern ein- und ausschaltet (z. B. einen zufälligen Effekt mit einem großen Mittelwert, einer Varianz und n Gruppeneffekten)? Welche der folgenden Punkte sind zulässig (in der Reihenfolge, in der ich sicher bin, dass der Ansatz zulässig ist)? Gibt es einen besseren Ansatz, den ich nicht aufführe?

   ich. Verwenden Sie einen Pseudo-Prior, der die vollständige Verteilung aller Parameter im hinteren Bereich des Gelenks annähert.

   ii. Wenn das Mischen akzeptabel nicht grausam ist, verwenden Sie überhaupt keine Pseudo-Priors (dh verwenden Sie Pseudo-Priors, die den wahren Priors entsprechen).

   iii. Verwenden Sie für jeden Parameter einen Pseudo-Prior, der auf den univariaten posterioren Verteilungen basiert, aber machen Sie sich keine Sorgen darüber, wie sie gemeinsam verteilt sind.

   iv. Verwenden Sie nach der scheinbar einfachen Sprache von Carlin & Chib einen Pseudo-Prior, der ein rechnerisch effizientes Mischen in den MCMC-Ketten ermöglicht, da "die Form des [Pseudo-Prior] irrelevant ist".

5. Was bedeutet @ Xi'an im ersten Kommentar zu meiner Frage : " Die Pseudo-Priors müssen in einer wichtigen Stichprobenart korrigiert werden. "

1. Was geht hier vor sich?

Dies ist eine sehr allgemeine Frage mit der offensichtlichen Antwort, Carlin & Chib (1995) im Detail zu untersuchen . Die wesentliche Idee besteht darin, den Gelenkparameter zu berücksichtigen$(m,\theta_1,\theta_2)$ wo $m$ bezeichnet den Modellindex ($m=1,2$) und $\theta_1,\theta_2$ die Parameter beider Modelle in dem Sinne, dass die Daten aus der Dichte stammen

$$f(x|m,\theta_1,\theta_2)=f_m(x|\theta_m)$$ dh einer der beiden Parameter $\theta_{3-m}$ ist überflüssig, sobald der Modellindex $m$ eingestellt ist.

Sobald diese Fertigstellung abgeschlossen ist, muss ein Prior für das Triplett ausgewählt werden $(m,\theta_1,\theta_2)$, welches ist

$$\pi(m,\theta_1,\theta_2)=\pi(m)\pi_m(\theta_m)\tilde\pi_m(\theta_{3-m})$$ wo ich mit bezeichne $\pi(m)$ und $\pi_m(\theta_m)$die wahren Prioritäten auf dem Modellindex und auf den Parametern jedes Modells. Das zusätzliche$\tilde\pi_m(\theta_{3-m})$ ist frei, weil der hintere auf $\theta_{3-m}$ ist gleich dem Prior: $$\pi(m,\theta_1,\theta_2|x)=\pi(m|x)\pi_m(\theta_m|x)\tilde\pi_m(\theta_{3-m})$$ Die Daten wirken sich nicht auf den Parameter aus, von dem sie nicht abhängen. Und damit Rückschluss auf$\theta_m$ wird durch die Wahl von nicht beeinflusst $\tilde\pi_m(.)$. In der Praxis bedeutet dies, dass der Algorithmus zum Simulieren aus dem erweiterten Modell erzeugt

1. eine Häufigkeit für jedes Modell, die sich der posterioren Wahrscheinlichkeit dieses Modells annähert
2. eine Folge von Parametern $\theta_m$ wann $m$ ist der Modellindex, der zur Inferenz auf diesen Parameter verwendet werden soll
3. eine Folge von Parametern $\theta_{3-m}$ wann $m$ ist der Modellindex, der ignoriert werden soll.

2. Wie bringen wir das mit meiner Intuition und Plummers Kommentar in Einklang?

Was Martyn Plummer in seinem Kommentar bedeutet, ist, dass der Pseudo-Prior für den Parameter mit dem anderen Index keine Rolle spielt $m$ muss aber der wahre Prior des Parameters mit dem aktuellen Index sein $3-m$. Dies stimmt zu 100% mit dem Papier von Carlin & Chib (1995) überein .

3. Bedeutet dies, dass es für Pseudo-Priors unzulässig ist, genau den wahren Priors zu entsprechen?

Pseudo-Priors können als die wahren Priors angesehen werden, vorausgesetzt, diese sind richtig. Aber wie Carlin & Chib (1995) zeigen, ist es viel effizienter, eine Annäherung an den wahren posterioren,$\pi_{3-m}(\theta_{3-m}|x)$, Annäherung, die durch einen vorläufigen MCMC-Lauf für jedes Modell erhalten werden kann.

4. Was ist, wenn die Indikatorvariable einen Teil des Modells mit mehreren Parametern ein- und ausschaltet?

Die Lösung für dieses Rätsel besteht darin, unterschiedliche Parametersätze für alle unterschiedlichen Modelle zu berücksichtigen, dh keine gemeinsamen Parameter zwischen zwei Modellen zu haben. Wenn Sie sich in einem Variablenauswahlproblem befinden, bedeutet dies, dass Sie einen anderen Parameter und eine andere Notation für den Variablenkoeffizienten verwenden$X_1$ wann $X_2$ ist Teil der Regression und wann $X_2$ist nicht Teil der Regression. Verwenden Sie ab diesem Zeitpunkt einen beliebigen Pseudo-Prior für die überflüssigen Parameter.

5. Was bedeutet @ Xi'an im ersten Kommentar?

Ich meine, wenn die Wahrscheinlichkeiten von Besuchen in den beiden Modellen nicht die Wahrscheinlichkeiten des Vorgängers sind, muss die hintere Wahrscheinlichkeit eines Modells, die durch die simulierte Häufigkeit geschätzt wird, korrigiert werden.