Warum werden in der Bayes'schen Folgerung einige Begriffe aus der posterioren Vorhersage gestrichen?

12

In Kevin Murphys Conjugate Bayesian-Analyse der Gaußschen Verteilung schreibt er, dass die posteriore prädiktive Verteilung ist

p (x ∣ D) = \int p (x ∣ θ) p (θ ∣ D) d θ

$p(x \mid D) = \int p(x \mid \theta) p(\theta \mid D) d \theta$

Dabei ist die Daten, an die das Modell angepasst ist, und sind unsichtbare Daten. Was ich nicht verstehe ist, warum die Abhängigkeit von im ersten Term im Integral verschwindet. Mit den Grundregeln der Wahrscheinlichkeit hätte ich erwartet: $D$ $x$ $D$

\begin{aligned} p (a) & = \int p (a ∣ c) p (c) d c \\ p (a ∣ b) & = \int p (a ∣ c, b) p (c ∣ b) d c \\ ↓ \\ p (x ∣ D) & = \int \overset{⋆}{\overset{⏞}{p (x ∣ θ, D)}} p (θ ∣ D) d θ \end{aligned}

$\begin{align} p(a) &= \int p(a \mid c) p(c) dc \\ p(a \mid b) &= \int p(a \mid c, b) p(c \mid b) dc \\ &\downarrow \\ p(x \mid D) &= \int \overbrace{p(x \mid \theta, D)}^{\star} p(\theta \mid D) d \theta \end{align}$

Frage: Warum verschwindet die Abhängigkeit von im Term ? $D$ $\star$

Für das, was es wert ist, habe ich diese Art der Formulierung (Variablen in Bedingungen fallen lassen) an anderen Stellen gesehen. Zum Beispiel schreibt er in Ryan Adams Bayesian Online Changepoint Detection die hintere Vorhersage als

p (x_{t + 1} ∣ r_{t}) = \int p (x_{t + 1} ∣ θ) p (θ ∣ r_{t}, x_{t}) d θ

$p(x_{t+1} \mid r_t) = \int p(x_{t+1} \mid \theta) p(\theta \mid r_{t}, x_{t}) d \theta$

wo wieder, da , hätte ich erwartet $D = \{x_t, r_t\}$

p (x_{t + 1} ∣ x_{t}, r_{t}) = \int p (x_{t + 1} ∣ θ, x_{t}, r_{t}) p (θ ∣ r_{t}, x_{t}) d θ

$p(x_{t+1} \mid x_t, r_t) = \int p(x_{t+1} \mid \theta, x_t, r_t) p(\theta \mid r_{t}, x_{t}) d \theta$

— gwg
quelle

13

Dies basiert auf der Annahme, dass bei bedingt unabhängig von ist . Dies ist in vielen Fällen eine vernünftige Annahme, da lediglich angegeben wird, dass die Trainings- und Testdaten ( bzw. ) unabhängig voneinander aus demselben Satz unbekannter Parameter generiert werden . Unter dieser Unabhängigkeitsannahme ist , und so fällt das aus der allgemeineren Form heraus, die Sie erwartet haben. $x$ $D$ $\theta$ $D$ $x$ $\theta$ $p(x|\theta,D)=p(x|\theta)$ $D$

In Ihrem zweiten Beispiel scheint es, dass eine ähnliche Unabhängigkeitsannahme angewendet wird, aber jetzt (explizit) im Laufe der Zeit. Diese Annahmen können an anderer Stelle im Text explizit angegeben werden, oder sie können jedem implizit klar sein, der mit dem Kontext des Problems hinreichend vertraut ist (obwohl dies nicht unbedingt bedeutet, dass in Ihren speziellen Beispielen - mit denen ich nicht vertraut bin) - Die Autoren haben zu Recht diese Vertrautheit angenommen.

— Ruben van Bergen
quelle

9

Es ist , weil $x$ angenommen wird , unabhängig davon zu sein , $D$ gegeben . Mit anderen Worten wird angenommen, dass alle Daten aus einer Normalverteilung mit den Parametern . Sobald unter Verwendung von Informationen aus berücksichtigt wird , gibt es keine Informationen mehr, die über einen neuen Datenpunkt . Daher ist . $\theta$ $\theta$ $\theta$ $D$ $D$ $x$ $p(x|\theta, D) = p(x|\theta)$

— JP Trawinski
quelle