Aktualisieren eines Bayes-Faktors

Ein Bayes-Faktor wird beim Bayes'schen Testen der Hypothese und der Bayes'schen Modellauswahl durch das Verhältnis zweier Grenzwahrscheinlichkeiten definiert: bei gegebener iid-Stichprobe und entsprechenden Abtastdichten und mit den entsprechenden Prioritäten und ist der Bayes-Faktor für den Vergleich der beiden Modelle Ein Buch, das ich gerade rezensiere, hat die seltsame Aussage, dass der oben genannte Bayes-Faktor $(x_1,\ldots,x_n)$ $f_1(x|\theta)$ $f_2(x|\eta)$ $\pi_1$ $\pi_2$

B_{12} (x_{1}, \dots, x_{n}) \overset{def}{=} \frac{m_{1} (x_{1}, \dots, x_{n})}{m_{2} (x_{1}, \dots, x_{n})} \overset{def}{=} \frac{\int \prod_{i = 1}^{n} f_{1} (x_{i} | θ) π_{1} (d θ)}{\int \prod_{i = 1}^{n} f_{2} (x_{i} | η) π_{2} (d η)}

$\mathfrak{B}_{12}(x_1,\ldots,x_n)\stackrel{\text{def}}{=}\frac{m_1(x_1,\ldots,x_n)}{m_2(x_1,\ldots,x_n)}\stackrel{\text{def}}{=}\frac{\int \prod_{i=1}^n f_1(x_i|\theta)\pi_1(\text{d}\theta)}{\int \prod_{i=1}^n f_2(x_i|\eta)\pi_2(\text{d}\eta)}$

B_{12} (x_{1}, \dots, x_{n})

$\mathfrak{B}_{12}(x_1,\ldots,x_n)$ wird "durch Multiplikation der einzelnen [Bayes-Faktoren] gebildet" (S.118). Dies ist formal korrekt, wenn man die Zerlegung aber ich sehe in dieser Zerlegung keinen Rechenvorteil als das Update durch erfordert den gleichen Rechenaufwand wie die ursprüngliche Berechnung von

\begin{aligned} B_{12} (x_{1}, \dots, x_{n}) & = \frac{m_{1} (x_{1}, \dots, x_{n})}{m_{2} (x_{1}, \dots, x_{n})} \\ = \frac{m_{1} (x_{n} | x_{1}, \dots, x_{n - 1})}{m_{2} (x_{n} | x_{1}, \dots, x_{n - 1})} \times \frac{m_{1} (x_{n - 1} | x_{n - 2}, \dots, x_{1})}{m_{2} (x_{n - 1} | x_{n - 2}, \dots, x_{1})} \times \dots \\ \dots \times \frac{m_{1} (x_{1})}{m_{2} (x_{1})} \end{aligned}

$\begin{align*}\mathfrak{B}_{12}(x_1,\ldots,x_n)&=\frac{m_1(x_1,\ldots,x_n)}{m_2(x_1,\ldots,x_n)}\\&=\frac{m_1(x_n|x_1,\ldots,x_{n-1})}{m_2(x_n|x_1,\ldots,x_{n-1})}\times \frac{m_1(x_{n-1}|x_{n-2},\ldots,x_1)}{m_2(x_{n-1}|x_{n-2},\ldots,x_1)}\times\cdots\\&\qquad\cdots\times\frac{m_1(x_1)}{m_2(x_1)}\end{align*}$

\frac{m_{1} (x_{n} | x_{1}, \dots, x_{n - 1})}{m_{2} (x_{n} | x_{1}, \dots, x_{n - 1})}

$\frac{m_1(x_n|x_1,\ldots,x_{n-1})}{m_2(x_n|x_1,\ldots,x_{n-1})}$

\frac{m_{1} (x_{1}, \dots, x_{n})}{m_{2} (x_{1}, \dots, x_{n})}

$\frac{m_1(x_1,\ldots,x_n)}{m_2(x_1,\ldots,x_n)}$ außerhalb künstliche Spielzeugbeispiele.

Frage: Gibt es eine generische und rechnerisch effiziente Möglichkeit, den Bayes-Faktor von auf zu aktualisieren , bei dem nicht die gesamten Ränder und berechnet werden müssen ? $\mathfrak{B}_{12}(x_1,\ldots,x_n)$ $\mathfrak{B}_{12}(x_1,\ldots,x_{n+1})$ $m_1(x_1,\ldots,x_n)$ $m_2(x_1,\ldots,x_n)$

Meine Intuition ist, dass es neben Partikelfiltern, die tatsächlich die Bayes-Faktoren eine neue Beobachtung schätzen , keine natürliche Möglichkeit gibt, diese Frage zu beantworten . $\mathfrak{B}_{12}(x_1,\ldots,x_n)$

— Xi'an
quelle

Es scheint mir nicht klar zu sein, dass der Wortlaut notwendigerweise eine sequentielle Faktorisierung impliziert , da die Beobachtungen iid sind. Während grad Schule, erwähnte ein Professor , dass das Produkt bedeutet , dass man könnte asymptotische Annäherungen verwendet für Bayes - Analysen aber seltsamerweise war dies nicht auf (Sarkasmus) gefangen. Vielleicht könnte das Buch darauf hindeuten?

— Cliff AB

@CliffAB: Ja, Sie könnten die Wahrscheinlichkeit als Durchschnitt einzelner Begriffe umschreiben und zu einer Kullback-Leibler-Entfernung von der tatsächlichen Verteilung konvergieren. Ich glaube jedoch nicht, dass dies der Fall ist, obwohl das Buch unklar genug ist, um alle Optionen offen zu halten.

— Xi'an

Ich glaube, es gibt einen Tippfehler in der zweiten angezeigten Gleichung: Sollte es im zweiten Faktor in der zweiten Zeile sein?

m_{1} (x_{n - 1} | x_{n - 1}, \dots, x_{1})

$m_1(x_{n-1}|x_{n-1}, \ldots, x_1)$

— Jochen

Vermutlich besteht der Zweck einer rekursiven Gleichung für den Bayes-Faktor darin, dass Sie den Bayes-Faktor bereits für Datenpunkte berechnet haben und diesen mit einem zusätzlichen Datenpunkt aktualisieren möchten. Es scheint möglich zu sein, dies zu tun, ohne die Ränder des vorherigen Datenvektors neu zu berechnen, solange die Form der posterioren Funktion bekannt ist. Angenommen, wir kennen die Form dieser Funktion (und nehmen IID-Daten wie in Ihrer Frage an), kann die Vorhersagedichte wie folgt geschrieben werden: $n$ $\pi_n$

\begin{aligned} m (x_{n + 1} | x_{1}, . . ., x_{n}) & = \int_{Θ} f (x_{n + 1} | θ) π_{n} (d θ | x_{1}, . . ., x_{n}) . \end{aligned}

$\begin{equation} \begin{aligned} m(x_{n+1} | x_1,...,x_n) &= \int \limits_\Theta f(x_{n+1}|\theta) \pi_n(d \theta | x_1,...,x_n). \\[6pt] \end{aligned} \end{equation}$

Daher haben Sie:

\begin{aligned} m (x_{1}, . . ., x_{n + 1}) & = m (x_{1}, . . ., x_{n}) \int_{Θ} f (x_{n + 1} | θ) π_{n} (d θ | x_{1}, . . ., x_{n}) . \end{aligned}

$\begin{equation} \begin{aligned} m(x_1,...,x_{n+1}) &= m(x_1,...,x_n) \int \limits_\Theta f(x_{n+1}|\theta) \pi_n(d \theta | x_1,...,x_n). \\[6pt] \end{aligned} \end{equation}$

Wenn wir zwei Modellklassen über den Bayes-Faktor vergleichen, erhalten wir die rekursive Gleichung:

\begin{aligned} B_{12} (x_{1}, . . ., x_{n + 1}) & = B_{12} (x_{1}, . . ., x_{n}) \cdot \frac{\int_{Θ_{1}} f (x_{n + 1} | θ) π_{1, n} (d θ | x_{1}, . . ., x_{n})}{\int_{Θ_{2}} f (x_{n + 1} | θ) π_{2, n} (d θ | x_{1}, . . ., x_{n})} . \end{aligned}

$\begin{equation} \begin{aligned} \mathfrak{B}_{12}(x_1,...,x_{n+1}) &= \mathfrak{B}_{12}(x_1,...,x_{n}) \cdot \frac{\int _{\Theta_1} f(x_{n+1}|\theta) \pi_{1,n}(d \theta | x_1,...,x_n)}{\int _{\Theta_2} f(x_{n+1}|\theta) \pi_{2,n}(d \theta | x_1,...,x_n)}. \\[6pt] \end{aligned} \end{equation}$

Dies beinhaltet immer noch die Integration über den Parameterbereich, daher stimme ich Ihrer Ansicht zu, dass es keinen Rechenvorteil zu geben scheint, wenn nur der Bayes-Faktor über die von Ihnen angegebene Anfangsformel neu berechnet wird. Sie können jedoch sehen, dass Sie hierfür die Ränder für den vorherigen Datenvektor nicht neu berechnen müssen. (Stattdessen berechnen wir die Vorhersagedichten des neuen Datenpunkts unter der Bedingung vorheriger Daten unter jeder der Modellklassen.) Wie Sie sehe ich keinen rechnerischen Vorteil davon, es sei denn, diese Integralformel vereinfacht sich leicht. Ich nehme an, es gibt Ihnen auf jeden Fall eine andere Formel zum Aktualisieren des Bayes-Faktors.

— Ben - Monica wieder einsetzen
quelle

Vielen Dank. Es ist wahr, dass die Marginals nicht streng sensu neu berechnet werden müssen , aber der Rechenaufwand scheint der gleiche zu sein, wie Sie bemerken.

— Xi'an

Der einzige Vorteil, den ich mir vorstellen kann, ist, dass der Integrand weniger flüchtig ist, da wir jetzt nur über eine einzelne Dichte (und nicht über das Produkt von Dichten) integrieren. Daher könnte diese letztere Formel es einfacher machen, Unterlaufprobleme in zu vermeiden Berechnung. Das ist vielleicht alles eine große Sache.

n

$n$

— Ben - Reinstate Monica