Was ist das Bayes'sche Äquivalent eines allgemeinen Fitnesstests?

25

Ich habe zwei Datensätze, einen aus einer Reihe physikalischer Beobachtungen (Temperaturen) und einen aus einem Ensemble numerischer Modelle. Ich mache eine perfekte Modellanalyse unter der Annahme, dass das Modellensemble eine echte, unabhängige Stichprobe darstellt, und überprüfe, ob die Beobachtungen aus dieser Verteilung stammen. Die von mir berechnete Statistik ist normalisiert und sollte theoretisch eine Standardnormalverteilung sein. Natürlich ist es nicht perfekt, also möchte ich die Passform testen.

Unter Verwendung von häufigem Denken könnte ich eine Cramér-von-Mises-Statistik (oder Kolmogorov-Smirnov usw.) oder Ähnliches berechnen und den Wert in einer Tabelle nachschlagen, um einen p-Wert zu erhalten, um zu entscheiden, wie unwahrscheinlich der Wert I ist siehe ist, da die Beobachtungen die gleichen sind wie das Modell.

Was wäre das bayesianische Äquivalent dieses Prozesses? Das heißt, wie kann ich die Stärke meiner Überzeugung quantifizieren, dass diese beiden Verteilungen (meine berechnete Statistik und die Standardnormale) unterschiedlich sind?

bayesian goodness-of-fit

— naught101
quelle

So etwas wie dies könnte die Rechnung passen.

— Cyan

23

Ich würde das Buch Bayesian Data Analysis als eine großartige Quelle für die Beantwortung dieser Frage (insbesondere Kapitel 6) und für alles, was ich zu sagen habe, vorschlagen . Eine der üblichen Methoden, mit denen Bayesianer dieses Problem angreifen, ist die Verwendung von posterioren prädiktiven P-Werten (PPPs). Bevor ich erläutere, wie PPPs dieses Problem lösen könnten, möchte ich zunächst die folgende Notation definieren:

Sei die beobachteten Daten und $y$ der Vektor von Parametern. Wir definieren als dierepliziertenDaten,diebeobachtet worden seinkönnten, oder vorausschauend als die Daten, die wirmorgen sehenwürden,wenn das Experiment, das heuteerzeugte, mit demselben Modell und demselben Wert von repliziert würde, das das beobachtete erzeugte Daten. $\theta$ $y^{\text{rep}}$ $y$ $\theta$

Anmerkung werden wir die Verteilung von definieren angesichts der aktuellen Wissensstand mit dem posterioren prädiktiven Verteilung $y^{\text{rep}}$

p (y^{rep} | y) = \int_{Θ} p (y^{rep} | θ) p (θ | y) d θ

$p(y^{\text{rep}}|y)=\int_\Theta p(y^{\text{rep}}|\theta)p(\theta|y)d\theta$

Jetzt können wir die Diskrepanz zwischen dem Modell messen und die Daten durch die Definition von Testmengen , die Aspekte der Daten , die wir überprüfen möchten. Eine Testmenge oder Diskrepanz Maßnahme , , eine skalare Zusammenfassung von Parametern und Daten , die als Standard verwendet wird , wenn Daten in prädiktive Simulationen verglichen wird . Testgrößen spielen bei der Bayes'schen Modellprüfung die Rolle, die Teststatistiken bei klassischen Tests spielen. Wir definieren die Notation $T(y,\theta)$ $T(y)$ für eine Teststatistik, bei der es sich um eine Testgröße handelt, die nur von Daten abhängt; Im Bayes'schen Kontext können wir die Teststatistik verallgemeinern, um die Abhängigkeit von den Modellparametern unter ihrer posterioren Verteilung zu ermöglichen.

Classically, der p-Wert für die Teststatistik ist , wo die Wahrscheinlichkeit über die Verteilung der genommen wird mit fixiert. $T(y)$

p_{C} = Pr (T (y^{rep}) \geq T (y) | θ)

$p_C=\text{Pr}(T(y^{\text{rep}})\geq T(y)|\theta)$

y^{rep}

$y^{\text{rep}}$

θ

$\theta$

Aus einer Bayes'schen Perspektive kann eine fehlende Anpassung der Daten in Bezug auf die posteriore prädiktive Verteilung durch die Schwanzbereichswahrscheinlichkeit oder den p-Wert der Testgröße gemessen und unter Verwendung posteriorer Simulationen von berechnet werden. . Beim Bayes'schen Ansatz können Testgrößen Funktionen der unbekannten Parameter sowie Daten sein, da die Testgröße über Ziehungen aus der posterioren Verteilung der unbekannten Parameter ausgewertet wird. $(\theta,y^{\text{rep}})$

p_{B} = Pr (T (y^{rep}, θ) \geq T (y, θ) | y)

$p_B=\text{Pr}(T(y^{\text{rep}},\theta)\geq T(y,\theta)|y)$

θ

$\theta$

y^{rep}

$y^{\text{rep}}$

p (θ, y^{rep} | y)

$p(\theta,y^{\text{rep}}|y)$

p_{B} = \iint_{Θ} I_{T (y^{rep}, θ) \geq T (y | θ)} p (y^{rep} | θ) p (θ | y) d y^{rep} d θ,

$p_B=\iint_\Theta I_{T(y^{\text{rep}},\theta)\geq T(y|\theta)}p(y^{\text{rep}}|\theta)p(\theta|y)dy^{\text{rep}}d\theta,$

I

$I$

$L$ $\theta$ $y^{\text{rep}}$ $\theta$ $L$ $p(y^{\text{rep}},\theta|y)$ $T(y,\theta^l)$ $T(y^{\text{rep}l},\theta^l)$ $L$

T (y^{rep l}, θ^{l}) \geq T (y, θ^{l})

$T(y^{\text{rep}l},\theta^l)\geq T(y,\theta^l)$

l = 1, . . ., L

$l=1,...,L$

Im Gegensatz zum klassischen Ansatz erfordert die Bayes'sche Modellprüfung keine speziellen Methoden zum Umgang mit "Störparametern". Indem wir posteriore Simulationen verwenden, mitteln wir implizit über alle Parameter im Modell.

Eine weitere Quelle, Andrew Gelman, hat auch einen sehr schönen Artikel über PPPs hier: http://www.stat.columbia.edu/~gelman/research/unpublished/ppc_understand2.pdf

— Geselligkeit
quelle

3

Eine relativ einfache Möglichkeit: Glatte Tests der Anpassungsgüte, z. B. [1] - die die Alternative in Bezug auf glatte Abweichungen von der Null darstellen, die durch orthogonale Polynome (in Bezug auf die Nulldichte als Gewichtsfunktion) gebildet werden, wären relativ einfach Übertragen auf ein Bayes'sches Gerüst, da die Koeffizienten der Polynome eine flexible, aber parametrische Erweiterung der Null bilden.

[1]: Rayner, JCW und DJ Best (1990),
"Smooth Tests of Goodness of Fit: An Overview",
International Statistical Review , 58 : 1 (April), S. 9-17

— Glen_b - Setzen Sie Monica wieder ein
quelle