Bayesianische Vorhersageverteilungen verstehen

9

Ich nehme an einem Intro-to-Bayes-Kurs teil und habe Schwierigkeiten, prädiktive Verteilungen zu verstehen. Ich verstehe, warum sie nützlich sind und ich bin mit der Definition vertraut, aber es gibt einige Dinge, die ich nicht ganz verstehe.

1) Wie man die richtige Vorhersageverteilung für einen Vektor neuer Beobachtungen erhält

Angenommen, wir haben ein Stichprobenmodell für die Daten und ein vorheriges . Es sei angenommen, dass die Beobachtungen bei bedingt unabhängig sind . $p(y_i | \theta)$ $p(\theta)$ $y_i$ $\theta$

Wir haben einige Daten beobachtet , und wir aktualisieren unser vorheriges auf das hintere . $\mathcal{D} = \{y_1, y_2, \, ... \, , y_k\}$ $p(\theta)$ $p(\theta | \mathcal{D})$

Wenn wir einen Vektor neuer Beobachtungen vorhersagen wollten, gilt , ich denke, wir sollten versuchen, die posteriore Vorhersage mit dieser Formel zu erhalten: $\mathcal{N} = \{\tilde{y}_1, \tilde{y}_2, \, ... \, , \tilde{y}_n\}$ was nicht gleich

p (N | D) = \int p (θ | D) p (N | θ) d θ = \int p (θ | D) \prod_{i = 1}^{n} p ({\tilde{y}}_{i} | θ) d θ,

$p(\mathcal{N} | \mathcal{D}) = \int p(\theta | \mathcal{D}) p ( \mathcal{N} | \theta) \, \mathrm{d} \theta = \int p(\theta | \mathcal{D}) \prod_{i=1}^n p(\tilde{y}_i | \theta) \, \mathrm{d} \theta,$

also sind die vorhergesagten Beobachtungen nicht unabhängig, oder?

\prod_{i = 1}^{n} \int p (θ | D) p ({\tilde{y}}_{i} | θ) d θ,

$\prod_{i=1}^n \int p(\theta | \mathcal{D}) p(\tilde{y}_i | \theta) \, \mathrm{d} \theta,$

$\theta | \mathcal{D} \sim$ $a,b$ $p(y_i | \theta) \sim$ $n, \theta$ $n$ $\tilde{y}$

Simulation von posterioren Vorhersagen

Wenn wir Daten aus der posterioren Vorhersage simulieren, folgen wir oft diesem Schema:

$b$ $B$

$\theta^{(b)}$ $p(\theta | \mathcal{D})$

$\mathcal{N}^{(b)}$ $p(\mathcal{N} | \theta^{(b)})$

Ich weiß nicht genau, wie ich beweisen soll, dass dieses Schema funktioniert, obwohl es intuitiv aussieht. Hat das auch einen Namen? Ich habe versucht, eine Rechtfertigung nachzuschlagen, und ich habe verschiedene Namen ausprobiert, aber ich hatte kein Glück.

Vielen Dank!

bayesian prediction

— Fred L.
quelle

Ich habe eine ähnliche Frage unter stats.stackexchange.com/questions/72570/… gestellt, aber es sieht so aus, als ob Ihre bisher mehr Stimmen erhalten hat.

— John

4

$X_1,\dots,X_n,X_{n+1}$ $\Theta=\theta$

f_{X_{n + 1} ∣ X_{1}, \dots, X_{n}} (x_{n + 1} ∣ x_{1}, \dots, x_{n}) = \int f_{X_{n + 1}, Θ ∣ X_{1}, \dots, X_{n}} (x_{n + 1}, θ ∣ x_{1}, \dots, x_{n}) d θ

$f_{X_{n+1}\mid X_1,\dots,X_n}(x_{n+1}\mid x_1,\dots,x_n) = \int f_{X_{n+1},\Theta\mid X_1,\dots,X_n}(x_{n+1},\theta\mid x_1,\dots,x_n)\,d\theta$

= \int f_{X_{n + 1} ∣ Θ, X_{1}, \dots, X_{n}} (x_{n + 1} ∣ θ, x_{1}, \dots, x_{n}) f_{Θ ∣ X_{1}, \dots, X_{n}} (θ ∣ x_{1}, \dots, x_{n}) d θ

$= \int f_{X_{n+1}\mid\Theta,X_1,\dots,X_n}(x_{n+1}\mid\theta,x_1,\dots,x_n) f_{\Theta\mid X_1,\dots,X_n}(\theta\mid x_1,\dots,x_n) \, d\theta$

= \int f_{X_{n + 1} ∣ Θ} (x_{n + 1} ∣ θ) f_{Θ ∣ X_{1}, \dots, X_{n}} (θ ∣ x_{1}, \dots, x_{n}) d θ,

$= \int f_{X_{n+1}\mid\Theta}(x_{n+1}\mid\theta) f_{\Theta\mid X_1,\dots,X_n}(\theta\mid x_1,\dots,x_n) \, d\theta \, ,$

Θ

$\Theta$

X_{1}, \dots, X_{n}

$X_1,\dots,X_n$

X_{n + 1}

$X_{n+1}$

$i=1,\dots,N$ $\theta^{(i)}$ $\Theta\mid X_1=x_1,\dots,X_n=x_n$ $x_{n+1}^{(i)}$ $X_{n+1}\mid\Theta=\theta^{(i)}$ $\{x_{n+1}^{(i)}\}_{i=1}^N$ $X_{n+1}\mid X_1=x_1,\dots,X_n=x_n$

— Zen
quelle

θ^{(i)}

$\theta^{\left(i\right)}$

x_{n + j}

$x_{n+j}$

2

Ich werde versuchen, die Intuition hinter der Erzeugung der posterioren prädiktiven Verteilung Schritt für Schritt zu untersuchen.

$y$ $p(y|\theta)$ $\tilde y$ $\tilde y$ $y$ $\theta$ $\theta$ $\theta$ $p(\theta|y)$ $\tilde y$ $y$ $\theta$ $y$

p (\tilde{y} | θ, y) = \frac{p (\tilde{y}, y | θ) p (θ)}{p (θ, y)} = \frac{p (\tilde{y} | θ) p (y | θ) p (θ)}{p (y | θ) p (θ)} = p (\tilde{y} | θ) .

$\displaystyle p(\tilde y| \theta, y) = \frac{p(\tilde y, y|\theta )p(\theta)}{p(\theta, y)} = \frac{p(\tilde y|\theta )p(y |\theta) p(\theta)}{p(y| \theta)p(\theta)} = p(\tilde y |\theta).$

$\tilde y$

p (\tilde{y} | y) = \int_{Θ} p (\tilde{y} | θ, y) p (θ | y) d θ = \int_{Θ} p (\tilde{y} | θ) p (θ | y) d θ

$\Theta$ $\theta$

$p(\tilde y|y)$

für s = 1,2, ..., S do

$\theta^{(s)}$ $p(\theta|y)$

$\tilde y^{(s)}$ $p(\tilde y|\theta^{(s)})$

$p(\theta|y)$

$p(\tilde y, \theta | y) = p(\tilde y| \theta, y)p(\theta | y)$ $\theta^{(s)}$ $p(\theta|y)$ $\tilde y^{(s)}$ $p(\tilde y | \theta^{(s)}) = p(\tilde y | \theta^{(s)}, y)$ $p(\tilde y, \theta|y)$ $\tilde y^{(s)}, s=1,2,...,S$ $p(\tilde y|y)$

— Baruuum
quelle

1

$\theta$ $\tilde{y}_1$ $\theta$

— hr0nix
quelle