Was sind die Konsequenzen einer nicht konstanten Varianz der Fehlerterme bei der linearen Regression?

Eine der Annahmen der linearen Regression ist, dass die Fehlerterme eine konstante Varianz aufweisen sollten und dass die mit dem Modell verbundenen Konfidenzintervalle und Hypothesentests auf dieser Annahme beruhen. Was genau passiert, wenn die Fehlerterme keine konstante Varianz haben?

— Kira
quelle

Die Folgen der Heteroskedastizität sind:

Der gewöhnliche Schätzer der kleinsten Quadrate (OLS) ist immer noch konsistent, aber nicht mehr effizient . $\hat{\mathbf{b}} = \left(X'X \right)X'\mathbf{y}$
Die Schätzung wobei ist kein konsistenter Schätzer mehr für die Kovarianzmatrix Ihres Schätzers . Es kann sowohl voreingenommen als auch inkonsistent sein. In der Praxis kann dies die Varianz erheblich unterschätzen. $\hat{\mathrm{Var}}\left(\mathbf{b} \right) = \left( X'X\right)^{-1} \hat{\sigma}^2$ $\hat{\sigma}^2 = \frac{1}{n-k} \mathbf{e'}{\mathbf{e}}$ $\hat{\mathbf{b}}$

Punkt (1) ist möglicherweise kein Hauptproblem. Leute benutzen sowieso oft den gewöhnlichen OLS-Schätzer. Aber Punkt (2) muss angesprochen werden. Was ist zu tun?

Sie benötigen heteroskedastizitätskonsistente Standardfehler . Der Standardansatz besteht darin, sich auf Annahmen mit großen Stichproben und asymptotische Ergebnisse zu stützen und die Varianz von schätzen, indem: $\mathbf{b}$

\hat{V a r} (b) = \frac{1}{n} {(\frac{X^{'} X}{n})}^{- 1} S {(\frac{X^{'} X}{n})}^{- 1}

$\hat{\mathrm{Var}}\left(\mathbf{b}\right)=\frac{1}{n}\left( \frac{X'X}{n} \right)^{-1} S \left( \frac{X'X}{n} \right)^{-1}$ wobei als geschätzt wird .

S

$S$

S = \frac{1}{n - k} \sum_{i} (x_{i} e_{i}) {(x_{i} e_{i})}^{'}

$S = \frac{1}{n-k}\sum_i \left(\mathbf{x}_i e_i\right) \left(\mathbf{x}_i e_i \right)'$

Dies ergibt heteroskedastizitätskonsistente Standardfehler. Sie werden auch als Huber-White-Standardfehler, robuste Standardfehler, "Sandwich" -Schätzer usw. bezeichnet. Jedes grundlegende Standardstatistikpaket bietet eine Option für robuste Standardfehler. Benutze es!

Einige zusätzliche Kommentare (Update)

Wenn die Heteroskedastizität groß genug ist, kann die reguläre OLS-Schätzung große praktische Probleme haben. Obwohl Sie immer noch ein konsistenter Schätzer sind, können Sie kleine Stichprobenprobleme haben, bei denen Ihre gesamte Schätzung von einigen wenigen Beobachtungen mit hoher Varianz bestimmt wird. (Darauf spielt @ seanv507 in Kommentaren an). Der OLS-Schätzer ist insofern ineffizient, als er Beobachtungen mit hoher Varianz mehr Gewicht verleiht als optimal. Die Schätzung kann extrem laut sein.

Ein Problem beim Versuch, die Ineffizienz zu beheben, besteht darin, dass Sie wahrscheinlich auch die Kovarianzmatrix für die Fehlerterme nicht kennen. Daher kann die Verwendung von GLS die Situation noch verschlimmern, wenn Ihre Schätzung der Kovarianzmatrix für den Fehlerterm Müll ist.

Außerdem können die oben angegebenen Huber-White-Standardfehler bei kleinen Beispielen große Probleme haben. Zu diesem Thema gibt es eine lange Literatur. Z.B. siehe Imbens und Kolesar (2016), "Robuste Standardfehler in kleinen Stichproben: Einige praktische Ratschläge."

Richtung für das weitere Studium:

Wenn dies ein Selbststudium ist, sind als nächstes praktische Clusterfehler zu berücksichtigen. Diese korrigieren die willkürliche Korrelation innerhalb von Clustern.

— Matthew Gunn
quelle

Matthew - Ich denke, mehr praktische Probleme würden Punkt (1) klarstellen. Wäre der Schätzer beispielsweise nicht auf Regionen mit höherer Varianz ausgerichtet? - was ein größeres Problem wäre, wenn diese Regionen weit vom Mittelwert entfernt wären und eine hohe Hebelwirkung verursachen würden.

— Seanv507

@ seanv507 Heteroskedastizität beeinflusst die OLS-Schätzung nicht. Ich denke, Sie beziehen sich auf Ineffizienz. Durch gleiches Gewichten von Beobachtungen mit hoher Varianz und Beobachtungen mit niedriger Varianz weist der OLS-Schätzer eine höhere Varianz auf, als dies theoretisch mit einer inversen Varianzgewichtung erreichbar ist . Ob Sie Ihre Schätzungen von in der (dh für die Schätzung von ), hängt davon ab, wie viel Sie glauben, .

σ_{i}^{2}

$\sigma^2_i$

b

$\mathbf{b}$

σ_{i}^{2}

$\sigma^2_i$

— Matthew Gunn

Matthew, ich weiß, dass es keine Voreingenommenheit einführt (ich entschuldige mich [bei Ihnen und OP] für die Verwendung des Begriffs in Anführungszeichen :) Ich konnte mir keinen geeigneten Begriff vorstellen). Aber ich versuche, die praktischen Implikationen herauszuarbeiten (und dem OP vorzuschlagen, diese zu verstehen) - wann / warum Punkt (1) kein großes Problem ist. Würden Sie nicht zustimmen, dass der Effekt darin besteht, dass mehr von der Region mit hoher Varianz abhängt, als Sie intuitiv erwarten / wollen könnten? (Eine intuitive Anpassung der geraden Linie wäre, dass jede Region die gleiche Gewichtung hat, während sich infact OLS mehr auf hohe konzentriert Varianzregionen).

b

$\mathbb b$

— Seanv507

@ seanv507 Fühlen Sie sich frei, Ihre eigene Antwort hinzuzufügen!

— Matthew Gunn

Anstelle von Heteroskedastie-robusten Standardfehler mit (der Ed Leamer in seinem 2010 Papier „Tantalus auf dem Weg nach Asymptopia“ nennt Weißwaschen ), könnte man auch versuchen , die geschätzten Werte zu korrigieren (zusammen mit der Varianzschätzung) für Heteroskedastie durch WLS. Dies könnte in Ihrer Antwort erwähnenswert sein.

— Richard Hardy

Nun, die kurze Antwort ist im Grunde, dass Ihr Modell falsch ist, dh

Damit die gewöhnlichen kleinsten Quadrate die zu B est L inear U nbiased E stimator die konstante Varianz des Fehlerterme angenommen wird.
$\beta$

Bei Heteroskedastizität treten also Probleme bei der Schätzung der Varianz-Kovarianz-Matrix auf, die zu falschen Standardfehlern der Koeffizienten führen, was wiederum zu falschen t-Statistiken und p-Werten führt. Kurz gesagt, wenn Ihre Fehlerterme keine konstante Varianz aufweisen, sind gewöhnliche kleinste Quadrate nicht die effizienteste Methode zur Schätzung. Schauen Sie sich diese verwandte Frage an.

— Davidki
quelle

"Heteroskedastizität" macht es schwierig, die wahre Standardabweichung der Prognosefehler abzuschätzen. Dies kann zu Konfidenzintervallen führen, die zu breit oder zu eng sind (insbesondere sind sie zu eng für Vorhersagen außerhalb der Stichprobe, wenn die Varianz der Fehler mit der Zeit zunimmt).

Außerdem kann sich das Regressionsmodell zu stark auf eine Teilmenge von Daten konzentrieren.

Gute Referenz: Testen der Annahmen der linearen Regression

— oW_
quelle