Ist es in Ordnung, zuerst ein Bayes'sches Modell zu montieren und dann die Prioren zu schwächen?

Bei häufigen Statistiken gibt es eine lange Liste großer No-Nos, z. B. die Ergebnisse statistischer Tests, bevor Sie sich entscheiden, weitere Daten zu sammeln. Ich frage mich allgemein, ob es eine ähnliche Liste von Nein-Nummern für die in der Bayes'schen Statistik verwendeten Methoden gibt und insbesondere, ob die folgende eine davon ist.

Ich habe kürzlich festgestellt, dass für einige der Modelle, die ich angepasst habe, zunächst das Modell mit informativen Prioritäten versehen wurde, um festzustellen, ob es funktioniert oder in die Luft sprengt, und dann die Prioritäten entweder auf uninformativ oder schwach informativ und geschwächt wurden Modell wieder einbauen.

Meine Motivation dafür hat wirklich damit zu tun, dass ich diese Modelle in JAGS / Stan schreibe, und in meinen Gedanken habe ich sie eher als Programmieraufgabe als als statistische Aufgabe behandelt. Also mache ich einen ersten Lauf und manipuliere ihn so, dass er mithilfe informativer Prioritäten schnell konvergiert, wodurch es einfacher wird, Fehler in dem von mir geschriebenen Modell zu erkennen. Nachdem ich das Modell debuggt habe, rüste ich es mit nicht informativen oder schwach informativen Prioritäten aus.

Meine Frage ist, ob ich mit diesem Prozess gegen einige ernsthafte Regeln verstoße oder nicht. Muss ich mich beispielsweise auf bestimmte Prioritäten festlegen, bevor meine Modelle angepasst werden können , damit meine Schlussfolgerungen gültig sind und die Freiheitsgrade der Forscher nicht ausgenutzt werden?

Subjektive Bayesianer mögen anderer Meinung sein, aber aus meiner Sicht ist der Prior nur ein Teil des Modells, ebenso wie die Wahrscheinlichkeit. Das Ändern des Prior als Reaktion auf das Modellverhalten ist nicht besser oder schlechter als das Ändern Ihrer Wahrscheinlichkeitsfunktion (z. B. das Ausprobieren verschiedener Fehlerverteilungen oder verschiedener Modellformulierungen).

Es kann gefährlich sein, wenn Sie eine Angelexpedition unternehmen können, aber die Alternativen können schlechter sein. In dem von Ihnen erwähnten Fall, in dem Ihr Modell explodiert und Sie unsinnige Koeffizienten erhalten, haben Sie keine andere Wahl, als es erneut zu versuchen.

Es gibt auch Schritte, die Sie unternehmen können, um die Gefahren einer Angelexpedition etwas zu minimieren:

• Entscheiden Sie im Voraus, welchen Prior Sie letztendlich verwenden möchten
• Seien Sie im Voraus, wenn Sie Ihre Analyse über Ihr gesamtes Verfahren veröffentlichen oder beschreiben
• Machen Sie so viel wie möglich mit simulierten Daten und / oder halten Sie Daten für die endgültige Analyse bereit. Auf diese Weise kontaminieren Sie Ihre Analyse nicht zu stark.

Wenn Sie mit Prioritäten experimentieren und eine in Bezug auf ihre Leistung anhand der vorliegenden Daten auswählen, ist dies kein "Prior" mehr. Dies hängt nicht nur von den Daten ab (wie bei einer empirischen Bayes-Analyse), sondern auch davon, was Sie sehen möchten (was schlimmer ist). Am Ende verwenden Sie Bayes'sche Werkzeuge, dies kann jedoch nicht als Bayes'sche Analyse bezeichnet werden.

Ich denke, Sie sind in diesem Fall aus drei Gründen in Ordnung:

1. Sie passen Ihre Prioritäten nicht an Ihre Ergebnisse an. Wenn Sie etwas sagten wie: "Ich verwende XYZ-Prioritäten und abhängig von der Konvergenzrate und meinen DIC-Ergebnissen ändere ich meinen Prior durch ABC", dann würde ich sagen, dass Sie ein Nein-Nein begangen haben, aber in diesem Fall klingt so, als ob du das wirklich nicht tust.

2. In einem Bayes'schen Kontext sind Prioritäten explizit. Es ist also möglich, dass Sie Ihre Priors nicht richtig anpassen, aber die resultierenden Priors sind immer für andere sichtbar, die sich fragen können, warum Sie diese bestimmten Priors haben. Vielleicht bin ich hier naiv, da es einfach ist, einen Blick auf so etwas wie einen Prior zu werfen und zu sagen: "Hmm, sieht vernünftig aus", einfach weil jemand es angeboten hat, aber ...

3. Ich denke, was Sie tun, hängt mit dem Rat von Gelman (und anderen) zusammen, Stück für Stück ein JAGS-Modell aufzubauen, indem Sie zuerst mit synthetischen Daten und dann mit realen Daten arbeiten, um sicherzustellen, dass Sie keinen Spezifikationsfehler haben . Das ist nicht wirklich ein Faktor in der frequentistischen Methodik, und es ist nicht wirklich eine experimentelle Methodik.

Andererseits lerne ich dieses Zeug immer noch selbst.

PS Wenn Sie sagen, dass Sie es ursprünglich so manipuliert haben, dass es schnell mit "informativen Priors" konvergiert, meinen Sie tatsächlich informative Priors, die durch das vorliegende Problem motiviert sind, oder nur Priors, die aus beliebigen Gründen den Posterior stark drücken / einschränken, um die "Konvergenz" zu beschleunigen "zu einem beliebigen Punkt? Wenn es der erste Fall ist, warum entfernen Sie sich dann von diesen (motivierten) Vorgesetzten?

Ich denke, dies könnte ein Nein Nein sein, unabhängig von der Bayesianischen Schule. Jeffreys würde nicht informative Prioritäten verwenden wollen. Lindley möchte möglicherweise, dass Sie informative Prioritäten verwenden. Empirische Bayesianer würden Sie bitten, die Daten den Prior beeinflussen zu lassen. Aber ich denke, obwohl jede Schule einen anderen Vorschlag zur Wahl des Prior macht, haben alle einen Ansatz, der nicht bedeutet, dass Sie den Prior nehmen und ihn weiter optimieren können, bis Sie die gewünschten Ergebnisse erzielen. Das wäre definitiv so, als würde man sich die Daten ansehen und fortfahren, Daten zu sammeln und zu testen, bis man zu seiner vorgefassten Vorstellung gelangt, wie die Antwort lauten sollte.

Frequentist oder Bayesianer, es spielt keine Rolle, ich glaube nicht, dass irgendjemand möchte, dass Sie mit den Daten Streiche spielen (oder sie massieren). Vielleicht können wir uns alle darauf einigen, und Peters lustiges Gedicht ist wirklich apropo.

Ich würde nein sagen, Sie müssen sich nicht auf bestimmte Prioritäten festlegen. Im Allgemeinen sollten Sie während einer Bayes'schen Datenanalyse eine Analyse der Empfindlichkeit des Modells gegenüber dem vorherigen durchführen. Dazu gehört, dass Sie verschiedene andere Prioritäten ausprobieren, um zu sehen, was mit den Ergebnissen passiert. Dies könnte einen besseren oder robusteren Vorgänger ergeben, der verwendet werden sollte.

Die zwei offensichtlichen "Nein-Nein" sind: zu viel mit dem Prior herumspielen, um eine bessere Anpassung zu erzielen, was zu einer Überanpassung führt und die anderen Parameter des Modells ändern, um eine bessere Anpassung zu erhalten. Als Beispiel für das erste: Ändern eines Anfangsbuchstaben vor dem Mittelwert, sodass er näher am Stichprobenmittelwert liegt. Zum zweiten: Ändern Sie Ihre erklärenden Variablen / Merkmale in einer Regression, um eine bessere Anpassung zu erzielen. Dies ist ein Problem in jeder Version der Regression und macht Ihre Freiheitsgrade grundsätzlich ungültig.