Interpretation des Bayes'schen 95% -Vorhersageintervalls

Angenommen, das folgende bivariate Regressionsmodell: wobei iid für .

y_{i} = β x_{i} + u_{i},

$y_i = \beta x_i + u_i,$

u_{i}

$u_i$

N (0, σ^{2} = 9)

$N(0, \sigma^2 = 9)$

i = 1, \dots, n

$i = 1,\ldots, n$

Angenommen , ein noninformative Stand , dann kann gezeigt werden , dass die posterior pdf für ist wobei $p(\beta) \propto \text{constant}$ $\beta$

p (β | y) = (18 π)^{- \frac{1}{2}} {(\sum_{i = 1}^{n} x_{i}^{2})}^{\frac{1}{2}} \exp [- \frac{1}{18} \sum_{i = 1}^{n} x_{i}^{2} (β - \hat{β})^{2}],

$p(\beta|\mathbf{y}) = (18\pi)^{-\frac{1}{2}}\left(\sum_{i=1}^n x_i^2\right)^{\frac{1}{2}} \exp\left[-\frac{1}{18}\sum_{i=1}^n x_i^2 (\beta - \hat{\beta})^2\right],$

\hat{β} = (\sum_{i = 1}^{n} y_{i} x_{i}) / (\sum_{i = 1}^{n} x_{i}^{2}) .

$\hat{\beta} = (\sum_{i=1}^n y_ix_i)/(\sum_{i=1}^n x_i^2).$

Betrachten Sie nun den Wert von mit einem gegebenen zukünftigen Wert von , : wobei ist iid , dann können wir zeigen, dass ist eine normale Dichte mit Erwartung und Varianz Somit ist die posterior Wahrscheinlichkeitsdichtefunktion für , abhängig , ist $y$ $x$ $x_{n+1}$

y_{n + 1} = β x_{n + 1} + u_{n + 1},

$y_{n+1} = \beta x_{n+1} + u_{n+1},$

u_{n + 1}

$u_{n+1}$

N (0, σ^{2} = 9)

$N(0, \sigma^2 = 9)$

p (y_{n + 1} | x_{n + 1}, y) = \int_{β} p (y_{n + 1} | x_{n + 1}, β, y) p (β | y) d β

$p(y_{n+1}|x_{n+1},\mathbf{y}) = \int_{\beta} p(y_{n+1}|x_{n+1}, \beta, \mathbf{y}) p(\beta|\mathbf{y})d\beta$

E [y_{n + 1} | x_{n + 1}, y] = \hat{β} x_{n + 1}, v a r [y_{n + 1} | x_{n + 1}, y] = \frac{9 [x_{n + 1}^{2} + \sum_{i = 1}^{n} x_{i}^{2}]}{\sum_{i = 1}^{n} x_{i}^{2}} .

$E[y_{n+1}|x_{n+1},\mathbf{y}] = \hat{\beta}x_{n+1},\quad {\rm var}[y_{n+1}|x_{n+1},\mathbf{y}] = \frac{9[x_{n+1}^2 + \sum_{i=1}^n x_i^2]}{\sum_{i=1}^n x_i^2}.$

y_{n + 1}

$y_{n+1}$

x_{n + 1}

$x_{n+1}$

\begin{aligned} p (y_{n + 1} | x_{n + 1}, y) = & {(\frac{18 π [x_{n + 1}^{2} + \sum_{i = 1}^{n} x_{i}^{2}]}{\sum_{i = 1}^{n} x_{i}^{2}})}^{- \frac{1}{2}} \\ \times \exp {- \frac{\sum_{i = 1}^{n} x_{i}^{2}}{18 (x_{n + 1}^{2} + \sum_{i = 1}^{n} x_{i}^{2})} {(y_{n + 1} - \hat{β} x_{n + 1})}^{2}} \end{aligned}

$\begin{align} p(y_{n+1}|x_{n+1},\mathbf{y}) = &\left(\frac{18\pi\left[x_{n+1}^2 + \displaystyle{\sum_{i=1}^n x_i^2}\right]}{ \displaystyle{\sum_{i=1}^n x_i^2}}\right)^{-\frac{1}{2}} \\ & \times \exp\left\{-\frac{\displaystyle{\sum_{i=1}^n x_i^2}}{18\left(x_{n+1}^2 + \displaystyle{\sum_{i=1}^n x_i^2}\right)}\left(y_{n+1}-\hat{\beta}x_{n+1}\right)^2\right\} \end{align}$

Die Frage lautet nun: Geben Sie ein 95% -Vorhersageintervall für $y_{n+1}$ und interpretieren Sie es sorgfältig. In welchen Aspekten des Datengenerierungsprozesses berücksichtigt das Intervall unsere Unsicherheit nicht?

Ich bin mir nicht ganz sicher, wie ich die Frage beantworten soll, aber hier ist mein Versuch:

Im Wesentlichen müssen wir also und so finden, dass $a$ $b$ $P(a < y_{n+1} < b) = \int_{a}^b p(y_{n+1}|x_{n+1}, \mathbf{y}) dy_{n+1} = 95\%$

Jetzt wissen wir, dass wobei und , daher: $y_{n+1}|x_{n+1}, \mathbf{y} \sim N(m, v^2)$ $m = E[y_{n+1}|x_{n+1},\mathbf{y}]$ $v^2 = var[y_{n+1}|x_{n+1},\mathbf{y}]$

\frac{y_{n + 1} - m}{v} \sim N (0, 1)

$\frac{y_{n+1}-m}{v} \sim N(0,1)$

P (- 1.96 < \frac{y_{n + 1} - m}{v} < 1.96) = 95 %

$P(-1.96 < \frac{y_{n+1}-m}{v} < 1.96) = 95\%$

P (- 1.96 v + m < y_{n + 1} < 1.96 v + m) = 95 %

$P(-1.96v+m < y_{n+1} < 1.96v+m) = 95\%$

Da wir nun auf konditionieren und den Ausdruck für und , sehen wir, dass sowohl als auch bekannte Werte sind. Wir können also und . Das heißt, wir können viele andere Möglichkeiten von und auswählen, die eine Wahrscheinlichkeit von . Aber wie hängt dies mit der Beantwortung des Teils der Frage zusammen, in dem gefragt wird, welche Aspekte des Datenerzeugungsprozesses dieses Intervall nicht berücksichtigt? $x_{n+1}$ $v$ $m$ $v$ $m$ $a = -1.96v+m$ $b = 1.96v+m$ $a$ $b$ $95\%$

— TeTs
quelle

Bitte fügen Sie das Tag Selbststudium hinzu, wenn dies Hausaufgaben oder ein Versuch eines Lehrbuchproblems sind.

— Nick Cox

@ Nick Cox Danke, dass du mich informiert hast, ich habe das Selbststudien-Tag hinzugefügt.

— TeTs

Könnte es sein, dass das Intervall uns kein Verständnis für die Form des Datengenerierungsprozesses gibt? Das heißt, wir kennen die Mittelwert / Varianz-Kombination nicht nur aus dem Intervall?

Komische Frage. Gibt es vor der Übung einen Kontext? Warum sagen Sie ein bivariates Regressionsmodell?

— Stéphane Laurent

Das Intervall berücksichtigt alle Unsicherheiten des Problems. In Ihrer Beschreibung des Problems sind die einzigen Dinge, die Sie nicht wissen, und . Das von Ihnen abgeleitete Vorhersageintervall berücksichtigt die Unsicherheit in beiden Fällen. Es besteht also keine Unsicherheit mehr für das Intervall, "nicht zu berücksichtigen". $\beta$ $u$

— Tom Minka
quelle

Es besteht weiterhin Unsicherheit darüber, ob das Modell korrekt ist oder nicht.

— Xi'an

Das Modell wurde als Annahme angegeben. Daher besteht keine Unsicherheit darüber.

— Tom Minka

Ich nehme an, was gemeint ist, ist, dass die Vorhersageverteilung die gesamte Unsicherheit des Problems darstellt und das Intervall nur einen Aspekt dieser Verteilung zusammenfasst. Es ist jedoch nicht klar, dass als Intervall etwas ausgelassen wird.

— Conjugateprior