Wie hängen Residuen mit den zugrunde liegenden Störungen zusammen?

9

Bei der Methode der kleinsten Quadrate möchten wir die unbekannten Parameter im Modell schätzen:

{Y.}_{j} = α + β x_{j} + ε_{j} (j = 1 ... n)

$Y_j = \alpha + \beta x_j + \varepsilon_j \enspace (j=1...n)$

Sobald wir dies getan haben (für einige beobachtete Werte), erhalten wir die angepasste Regressionslinie:

{Y.}_{j} = \hat{α} + \hat{β} x + e_{j} (j = 1, . . . n)

$Y_j = \hat{\alpha} + \hat{\beta}x +e_j \enspace (j =1,...n)$

Jetzt wollen wir natürlich einige Diagramme überprüfen, um sicherzustellen, dass die Annahmen erfüllt sind. Angenommen, Sie möchten die Homoskedastizität überprüfen. Dazu überprüfen wir jedoch tatsächlich die Residuen . Angenommen, Sie untersuchen das Diagramm der Residuen gegen die vorhergesagten Werte. Wenn dies zeigt, dass Heteroskedastizität offensichtlich ist, wie hängt das dann mit dem Störungsterm ? Bedeutet Heteroskedastizität in den Residuen eine störungsbedingte Heteroskedastizität? $e_j$ $\varepsilon_j$

— Danny
quelle

3

Der einfachste Weg , um darüber nachzudenken , ist , dass Sie Ihre RAW - Residuen ( ) sind Schätzungen der entsprechenden Störungen ( ). Es gibt jedoch einige zusätzliche Komplexitäten. Obwohl wir im Standard-OLS-Modell davon ausgehen, dass die Fehler / Störungen unabhängig sind, können die Residuen nicht alle sein. Im Allgemeinen können nur Residuen unabhängig sein, da Sie bei der Schätzung des Mittelwertmodells Freiheitsgrade verwendet haben und die Residuen auf die Summe beschränkt sind $e_j = y_j-\hat y_j$ $\hat\varepsilon_j = e_j$ $N-p-1$ $p-1$ . Außerdem ist die Standardabweichung der rohen Residuen nicht wirklich konstant. Im Allgemeinen wird die Regressionslinie so angepasst, dass sie im Durchschnitt näher an den Punkten mit größerer Hebelwirkung liegt. Infolgedessen ist die Standardabweichung der Residuen für diese Punkte kleiner als die von Punkten mit niedriger Hebelwirkung. (Um mehr darüber zuerfahren, kann es hilfreich sein, die Antworten hier zu lesen:Interpretation von plot.lm ()und / oder hier:Wie führe ich eine Restanalyse für binäre / dichotome unabhängige Prädiktoren in der linearen Regression durch?) $0$

— gung - Monica wieder einsetzen
quelle

3

Zur Verdeutlichung können höchstens Np-1-Residuen unabhängig sein, aber normalerweise sind sie alle korreliert. Stattdessen gibt es lineare Transformationen von ihnen, die Np-1-unabhängige Komponenten haben können.

— Glen_b -Reinstate Monica

@Glen_b, guter Punkt.

— Gung - Reinstate Monica

8

Die Beziehung zwischen und ist: $\hat{\varepsilon}$ $\varepsilon$

\hat{ε} = (ich - - H.) ε

$\hat{\varepsilon} = (I-H) \varepsilon$

wobei , die Hutmatrix, . $H$ $X(X^TX)^{-1}X^T$

Welches ist zu sagen , dass eine lineare Kombination aller Fehler, aber in der Regel der meisten Gewicht fällt auf dem - ten ein. $\hat{\varepsilon}_i$ $i$

Hier ist ein Beispiel unter Verwendung des carsDatensatzes in R. Betrachten Sie den lila markierten Punkt:

Geben Sie hier die Bildbeschreibung ein

$i$ $\hat{\varepsilon}_i\approx 0.98\varepsilon_i +\sum_{j\neq i} w_j \varepsilon_j$ $w_j$

Geben Sie hier die Bildbeschreibung ein

Wir können das umschreiben als:

$\hat{\varepsilon}_i\approx 0.98\varepsilon_i +\eta_i$

oder allgemeiner

$\hat{\varepsilon}_i= (1-h_{ii})\varepsilon_i +\eta_i$

$h_{ii}$ $i$ $H$ $w_j$ $h_{ij}$

$N(0,\sigma^2)$ $i$

Das heißt, bei gut erzogenen Regressionen können Residuen meist wie eine mäßig verrauschte Schätzung des nicht beobachtbaren Fehlerausdrucks behandelt werden. Wenn wir Punkte betrachten, die weiter vom Zentrum entfernt sind, funktionieren die Dinge etwas weniger gut (der Rest wird weniger auf den Fehler gewichtet und die Gewichte auf die anderen Fehler werden weniger gleichmäßig).

$X$

— Glen_b - Monica neu starten
quelle

2

H

$H$

ε_{i}

$\varepsilon_i$

H

$H$

n

$n$

H

$H$

n

$n$

n

$n$

p / n

$p/n$

p

$p$