Warum kümmern wir uns so sehr um normalverteilte Fehlerterme (und Homoskedastizität) in der linearen Regression, wenn wir das nicht müssen?

Ich nehme an, dass ich jedes Mal frustriert bin, wenn ich jemanden sagen höre, dass die Nichtnormalität von Residuen und / oder Heteroskedastizität gegen die OLS-Annahmen verstößt. Zur Schätzung von Parametern in einem OLS-Modell ist nach dem Gauß-Markov-Theorem keine dieser Annahmen erforderlich. Ich verstehe, wie wichtig dies beim Testen von Hypothesen für das OLS-Modell ist, da wir unter der Annahme, dass diese Dinge zutreffende Formeln für T-Tests, F-Tests und allgemeinere Wald-Statistiken liefern.

Aber es ist nicht allzu schwer, Hypothesentests ohne sie durchzuführen. Wenn wir nur die Homoskedastizität fallen lassen, können wir leicht robuste Standardfehler und gruppierte Standardfehler berechnen. Wenn wir die Normalität ganz fallen lassen, können wir Bootstrapping verwenden und bei einer anderen parametrischen Spezifikation für die Fehlerausdrücke, das Wahrscheinlichkeitsverhältnis und die Lagrange-Multiplikator-Tests.

Es ist nur eine Schande, dass wir es so lehren, denn ich sehe viele Menschen, die mit Annahmen kämpfen, die sie gar nicht erst treffen müssen.

Warum betonen wir diese Annahmen so stark, wenn wir in der Lage sind, einfach robustere Techniken anzuwenden? Vermisse ich etwas Wichtiges?

In der Ökonometrie würden wir sagen, dass die Nicht-Normalität die Bedingungen des klassischen linearen Regressionsmodells verletzt, während die Heteroskedastizität sowohl die Annahmen des CNLR als auch des klassischen linearen Regressionsmodells verletzt.

Aber diejenigen, die sagen "... verstößt gegen OLS", sind auch berechtigt: Der Name " Ordinary Least Squares" stammt direkt von Gauß und bezieht sich im Wesentlichen auf normale Fehler. Mit anderen Worten, "OLS" ist kein Akronym für die Schätzung der kleinsten Quadrate (was ein viel allgemeineres Prinzip und ein viel allgemeinerer Ansatz ist), sondern des CNLR.

Ok, das war Geschichte, Terminologie und Semantik. Ich verstehe den Kern der Frage des OP wie folgt: "Warum sollten wir das Ideal betonen, wenn wir Lösungen für den Fall gefunden haben, dass es nicht vorhanden ist?" (Da die CNLR Annahmen sind ideal, in dem Sinne , dass sie eine ausgezeichnete Least-Square - Schätzer Eigenschaften „off-the-shelf“, und ohne die Notwendigkeit, asymptotisch Ergebnisse zu greifen. Denken Sie auch daran , dass OLS Maximum - Likelihood ist , wenn die Fehler sind normal ).

Idealerweise ist es ein guter Ort, um mit dem Unterrichten zu beginnen . Das ist es, was wir immer tun, wenn wir irgendein Thema unterrichten: "Einfache" Situationen sind "ideale" Situationen, frei von den Komplexitäten, denen man im wirklichen Leben und in der wirklichen Forschung begegnen wird und für die es keine bestimmten Lösungen gibt .

Und dies ist, was ich am OP-Beitrag problematisch finde: Er schreibt über robuste Standardfehler und Bootstrap, als ob sie "überlegene Alternativen" wären, oder über narrensichere Lösungen für das Fehlen der besagten Annahmen, für die das OP im Übrigen schreibt

"..Annahmen, die Menschen nicht treffen müssen"

Warum? Weil es einige Methoden gibt, mit der Situation umzugehen, Methoden, die natürlich eine gewisse Gültigkeit haben, aber alles andere als ideal sind? Bootstrap und Heteroskedastizität - robuste Standardfehler sind nicht die Lösung - wären sie tatsächlich das vorherrschende Paradigma geworden und hätten die CLR und die CNLR in die Geschichtsbücher aufgenommen. Aber das sind sie nicht.

Wir gehen also von einer Reihe von Annahmen aus, die die von uns als wichtig erachteten Eigenschaften des Schätzers garantieren (es ist eine weitere Diskussion, ob die als wünschenswert bezeichneten Eigenschaften tatsächlich diejenigen sind, die sein sollten), damit wir sichtbar bleiben, dass sie verletzt werden Konsequenzen, die mit den Methoden, die wir gefunden haben, um mit dem Fehlen dieser Annahmen fertig zu werden, nicht vollständig ausgeglichen werden können. Aus wissenschaftlicher Sicht wäre es wirklich gefährlich, das Gefühl zu vermitteln, "wir können uns auf den Weg zur Wahrheit machen" - weil wir es einfach nicht können.

Somit bleiben sie unvollständige Lösungen für ein Problem , keine Alternative und / oder definitiv überlegene Art, Dinge zu tun. Deshalb müssen wir zuerst die problemlose Situation lehren, dann auf die möglichen Probleme hinweisen und dann mögliche Lösungen diskutieren. Andernfalls würden wir diese Lösungen zu einem Status erheben, den sie nicht wirklich haben.

Wenn wir in der Klasse Zeit hätten, in der wir zuerst Regressionsmodelle einführen, um das Bootstrapping und die anderen von Ihnen erwähnten Techniken (einschließlich all ihrer Annahmen, Fallstricke usw.) zu diskutieren, würde ich Ihnen zustimmen, dass es nicht notwendig ist, über Normalität zu sprechen und Homoskedastizitätsannahmen. Aber in Wahrheit haben wir, wenn die Regression zum ersten Mal eingeführt wird, nicht die Zeit, über all diese anderen Dinge zu sprechen. Wir möchten, dass die Schüler konservativ sind und nach Dingen suchen, die möglicherweise nicht benötigt werden, und einen Statistiker konsultieren (oder andere Statistiken erstellen) Klasse oder 2 oder 3, ...) wenn die Annahmen nicht gelten.

Wenn Sie den Schülern mitteilen, dass diese Annahmen keine Rolle spielen, außer wenn ..., werden sich die meisten nur an den unwichtigen Teil und nicht an den wichtigen Zeitpunkt erinnern.

Wenn wir einen Fall mit ungleichen Varianzen haben, dann können wir zwar immer noch eine Linie der kleinsten Quadrate anpassen, aber ist es immer noch die "beste" Linie? oder wäre es besser, jemanden zu konsultieren, der über mehr Erfahrung / Schulung verfügt, wie in diesem Fall Leitungen zu montieren sind. Sogar wenn wir mit der Linie der kleinsten Quadrate zufrieden sind, sollten wir dann nicht anerkennen, dass Vorhersagen unterschiedliche Eigenschaften für unterschiedliche Werte der Vorhersage (n) haben werden? Die Überprüfung auf ungleiche Abweichungen ist daher gut für spätere Interpretationen, auch wenn wir sie für die Tests / Intervalle / etc. Nicht benötigen. dass wir verwenden.

1) selten wollen die Leute nur schätzen. In der Regel ist Inferenz - CIs, PIs, Tests - das Ziel oder zumindest ein Teil davon (auch wenn dies manchmal relativ informell erfolgt).

2) Dinge wie das Gauß-Markov-Theorem sind nicht unbedingt hilfreich - wenn die Verteilung weit genug vom Normalen entfernt ist, ist ein linearer Schätzer wenig hilfreich. Es hat keinen Sinn, das BLAU zu bekommen, wenn kein linearer Schätzer sehr gut ist.

3) Dinge wie Sandwich-Schätzer beinhalten eine große Anzahl impliziter Parameter. Wenn Sie über viele Daten verfügen, ist dies möglicherweise noch in Ordnung, aber oftmals nicht.

4) Vorhersageintervalle hängen von der Form der bedingten Verteilung ab, einschließlich eines guten Griffs für die Varianz bei der Beobachtung - Sie können die Details nicht so einfach mit einem PI wegwinken.

5) Dinge wie Bootstrapping sind oft nützlich für sehr große Samples. Sie haben manchmal Probleme mit kleinen Stichproben - und selbst bei Stichproben mittlerer Größe stellen wir häufig fest, dass die tatsächlichen Abdeckungseigenschaften nichts mit der Werbung zu tun haben.

Das heißt, wenige Dinge sind das Allheilmittel, das die Menschen gerne hätten. All diese Dinge haben ihren Platz, und es gibt sicherlich viele Fälle, in denen (sagen wir) Normalität nicht erforderlich ist und Schätzungen und Schlussfolgerungen (Tests und CIs) vernünftigerweise durchgeführt werden können, ohne dass dies notwendigerweise Normalität, konstante Varianz usw. erfordert.

Eine Sache, die oft vergessen zu sein scheint, sind andere parametrische Annahmen, die stattdessen getroffen werden könnten. Oft wissen die Leute genug über eine Situation Bescheid, um eine annehmbare parametrische Annahme zu treffen (z. B. sagen wir ..., dass die bedingte Reaktion dazu neigt, recht schief zu sein, wenn SD ziemlich proportional zum Mittelwert ist, könnte uns veranlassen, ein Gamma- oder lognormales Modell zu betrachten); Oft kann dies sowohl die Heteroskedastizität als auch die Nicht-Normalität auf einmal betreffen.

Ein sehr nützliches Werkzeug ist die Simulation. Damit können wir die Eigenschaften unserer Werkzeuge in Situationen untersuchen, in denen es so aussieht, als ob unsere Daten entstanden sind, und sie entweder in dem beruhigenden Wissen verwenden, dass sie in diesen Fällen gute Eigenschaften haben ( oder stellen Sie manchmal fest, dass sie nicht so gut funktionieren, wie wir es uns erhoffen).