Erhalten einer Formel für Vorhersagegrenzen in einem linearen Modell (dh Vorhersageintervalle)

Nehmen wir das folgende Beispiel:

set.seed(342)
x1 <- runif(100)
x2 <- runif(100)
y <- x1+x2 + 2*x1*x2 + rnorm(100)
fit <- lm(y~x1*x2)

Dies erstellt ein Modell von y basierend auf x1 und x2 unter Verwendung einer OLS-Regression. Wenn wir y für ein gegebenes x_vec vorhersagen möchten, könnten wir einfach die Formel verwenden, die wir aus dem erhalten summary(fit).

Was aber, wenn wir die unteren und oberen Vorhersagen von y vorhersagen wollen? (für ein gegebenes Konfidenzniveau).

Wie würden wir dann die Formel erstellen?

r regression predictive-models prediction-interval

— Tal Galili
quelle

Der Abschnitt Konfidenzintervall für neue Beobachtungen auf dieser Seite kann hilfreich sein.

— GaBorgulya

@Tal Tut mir leid, aber mir ist nicht wirklich klar, was Sie eigentlich unter "Vorhersagen der unteren und oberen Vorhersagen von y" verstehen. Hat es etwas mit Vorhersagen oder Toleranzbereichen zu tun?

— Chl

@ Tal - ein paar Fragen. Wenn Sie sagen ".. y basiert auf x1 und x2, unter Verwendung einer OLS-Regression." Damit meinen Sie, dass Sie mit OLS ein lineares Modell erstellen und Parameter schätzen . Habe ich recht? und @ chls Frage - Möchten Sie die Unter- und Obergrenze für das Vorhersageintervall vorhersagen?

— Suncoolsu

@chl, tut mir leid, dass ich nicht klarer bin. Ich suche nach zwei Formeln, die ein Intervall angeben, in dem der "echte" Wert von y 95% der Zeit "abgefangen" wird. Ich fühle, wie ich Definitionen für das CI für den Mittelwert verwende, wenn es wahrscheinlich einen anderen Begriff gibt, den ich verwenden sollte, tut mir leid ...

— Tal Galili

@suncoolsu - ja und ja.

— Tal Galili

Antworten:

Sie benötigen eine Matrixarithmetik. Ich bin mir nicht sicher, wie Excel damit umgehen wird. Wie auch immer, hier sind die Details.

Angenommen , Ihre Regression geschrieben wird als . $\mathbf{y} = \mathbf{X}\mathbf{\beta} + \mathbf{e}$

Sei ein Zeilenvektor, der die Werte der Prädiktoren für die Vorhersagen enthält (im selben Format wie ). Dann wird die Prognose gegeben durch mit einer zugehörigen Varianz $\mathbf{X}^*$ $\mathbf{X}$

\hat{y} = X^{*} \hat{β} = X^{*} (X^{'} X)^{- 1} X^{'} Y.

$\hat{y} = \mathbf{X}^*\hat{\mathbf{\beta}} = \mathbf{X}^*(\mathbf{X}'\mathbf{X})^{-1}\mathbf{X}'\mathbf{Y}$

σ^{2} [1 + X^{*} (X^{'} X)^{- 1} (X^{*})^{'}] .

$\sigma^2 \left[1 + \mathbf{X}^* (\mathbf{X}'\mathbf{X})^{-1} (\mathbf{X}^*)'\right].$ Dann kann ein 95% Vorhersageintervall berechnet werden (unter der Annahme , normal verteilten Fehler) als

Dies berücksichtigt die Unsicherheit aufgrund des Fehlerterms

und die Unsicherheit bei den Koeffizientenschätzungen. Allerdings ignoriert er alle Fehler in

. Wenn die zukünftigen Werte der Prädiktoren unsicher sind, ist das mit diesem Ausdruck berechnete Vorhersageintervall zu eng.

\hat{y} \pm 1,96 \hat{σ} \sqrt{1 + X^{*} (X^{'} X)^{- 1} (X^{*})^{'}} .

$\hat{y} \pm 1.96 \hat{\sigma} \sqrt{1 + \mathbf{X}^* (\mathbf{X}'\mathbf{X})^{-1} (\mathbf{X}^*)'}.$

e

$e$

X^{*}

$\mathbf{X}^*$

— Rob Hyndman
quelle

+1, sehr gute Antwort. Ich sollte jedoch beachten, dass das Regressionsmodell immer die bedingte Erwartung schätzt, also ist es so gut wie seine Regressoren. Obwohl der letzte Kommentar sehr gut ist, ist er nicht unbedingt erforderlich, da Sie den Regressoren vertrauen müssen, wenn Sie ein Regressionsmodell erstellen.

— mpiktas

\hat{y} = X^{*} β + X^{*} (X^{'} X)^{- 1} X^{'} e

$\hat{y}=X^*\beta+X^*(X'X)^{-1}X'e$

v a r \hat{y} = v a r X^{*} (X^{'} X)^{- 1} X^{'} e = σ^{2} X^{*} (X^{'} X)^{- 1} (X^{*})^{'}

$var \hat{y}=var X^*(X'X)^{-1}X'e=\sigma^2X^*(X'X)^{-1}(X^*)'$

\hat{y}

$\hat{y}$

N \times N

$N \times N$

X^{*}

$X^*$

Sind Sie zufällig nach den verschiedenen Arten von Vorhersageintervallen? Die predict.lmManpage hat

 ## S3 method for class 'lm'
 predict(object, newdata, se.fit = FALSE, scale = NULL, df = Inf, 
         interval = c("none", "confidence", "prediction"),
         level = 0.95, type = c("response", "terms"),
         terms = NULL, na.action = na.pass,
         pred.var = res.var/weights, weights = 1, ...)

und

Das Einstellen von 'Intervallen' legt die Berechnung von Konfidenz- oder Vorhersageintervallen (Toleranzintervallen) auf der angegebenen 'Ebene' fest, die manchmal als enge vs. breite Intervalle bezeichnet werden.

Ist es das, was du im Sinn hattest?

— Dirk Eddelbüttel
quelle

Hallo Dirk, das ist in der Tat , was ich finden will, aber ich mag , dass die obere und die untere Bande in Form eines sein Formel (so später in einiger Low Form statistischer Software zu implementieren, beispielsweise Excel ...)

— Tal Galili

ps: Ich sehe jetzt, dass es eine Bearbeitung des Titels meiner Frage gab, die Sie zu der Annahme veranlasst haben könnte, dass ich nach dem Parameter predict.lm interval gefragt habe (was ich nicht bin) :)

— Tal Galili

Sie missbrauchen hier die Terminologie. Excel ist keine statistische Software.

— Dirk Eddelbuettel

Sie haben recht, mein Gebot, wie wäre es mit "einer Tabellenkalkulationsanwendung"?

— Tal Galili

Ich kann damit leben; es nennt den Teufel bei seinem Namen ;-)

— Dirk Eddelbuettel

@Tal: Könnte ich Kutner et al. Als hervorragende Quelle für lineare Modelle vorschlagen?

$E(Y|X_{vec})$

$E(Y|X_{vec})$ $\hat{Y}$ $\pm$ $\alpha$ $\hat{Y}$ $\hat{Y}$ $\hat{Y}$ $\frac{\sigma^{2}}{n}$ $X_{vec}-\bar{X})^{2}\frac{\sigma^{2}}{\sum(X_{i}-\bar{X})^{2}}$

— B_Miner
quelle

(+1) zur Unterscheidung. Ich glaube jedoch, dass das OP nach (1) fragt, nicht nach (2) (und ich habe den Titel der Frage entsprechend bearbeitet). Beachten Sie auch, dass Ihre Formel davon auszugehen scheint, dass die Regression nur von einer Variablen abhängt.

— Whuber