Gibt es häufig zitierte Veröffentlichungen zu Statistiken, die schlechte statistische Praktiken verbreiten?

Es gibt offensichtlich viele Möglichkeiten, statistische Methoden zu missbrauchen. Kennen Sie Beispiele für schlechte statistische Praxis, die zum ersten Mal als explizite Empfehlung veröffentlicht wurden (z. B. "Sie sollten diese Methode verwenden, um ..."), in renommierten Fachzeitschriften, die dann wiederholt zitiert wurden?

Ein Beispiel hierfür sind die 10 Ereignisse pro Prädiktorregel, die häufig für logistische oder Cox-PH-Regressionsmodelle ( LINK ) aufgerufen werden .

Um es klar zu sagen, ich meine nicht häufig zitierte Artikel, die zufällig schlechte Statistiken verwendeten - diese sind leider trivial verbreitet.

RA Fisher, "Die Anordnung von Feldexperimenten". Zeitschrift des Landwirtschaftsministeriums von Großbritannien. 33: 503–513. 1926.

$\alpha = 0.05$

... es ist zweckmäßig, die Grenze in etwa auf der Ebene zu ziehen, auf der wir sagen können: "Entweder ist etwas in der Behandlung oder es ist ein Zufall aufgetreten, der in zwanzig Versuchen nicht mehr als einmal vorkommt."

... Wenn einer von zwanzig nicht hoch genug ist, können wir, wenn wir es vorziehen, die Linie zu einem von fünfzig (dem 2-Prozent-Punkt) oder einem von hundert (dem 1-Prozent-Punkt) ziehen. Persönlich bevorzugt der Verfasser, einen niedrigen Signifikanzstandard bei 5 Prozent festzulegen und alle Ergebnisse, die dieses Niveau nicht erreichen, vollständig zu ignorieren. Eine wissenschaftliche Tatsache sollte nur dann als experimentell erwiesen angesehen werden, wenn ein richtig geplantes Experiment dieses Signifikanzniveau selten verfehlt.

In der Ökonometrie finden Sie sicherlich einige Beispiele für propagierte Methoden bekannter (und hochqualifizierter) Ökonomen, die in anständigen Fachzeitschriften veröffentlicht wurden. Ich kenne keine theoretische Abhandlung, aber Lalonde (1986) ist ziemlich berühmt dafür, dass er darauf hinweist, dass derzeit verwendete Methoden nicht gut funktionieren: Er vergleicht experimentelle Methoden für denselben Datensatz mit Beobachtungsmethoden und findet große Unterschiede im Bereich der (kausalen) Behandlung Auswertung . Es gibt eine große Literatur, die diese nicht experimentellen Methoden propagierte, die damals verwendet wurden und heute noch häufig verwendet werden.

Anschließend gab es eine Debatte darüber (und ich glaube es ist noch immer so), ob ein Anpassen des Neigungsfaktors eine mögliche Lösung ist (siehe zum Beispiel hier) ).

Darüber hinaus wird die Schätzung instrumenteller Variablen kontrovers diskutiert. Die Schlussfolgerungen häufig zitierter Originalarbeiten sind umstritten. Dies ist wahrscheinlich das nächste Beispiel für Ihre Frage. Bound und Jaeger (1996 und nachfolgende Arbeiten) haben die Ergebnisse der bekannten Arbeit von Angrist und Krueger (1991; 2700 Zitate nach Google Scholar) in Frage gestellt, die die instrumentelle Variablenmethode in der angewandten ökonometrischen Literatur grundsätzlich begründet haben.

Es gibt auch eine große Debatte über die Angemessenheit sogenannter reduzierter Formschätzungen zur Feststellung der Kausalität, siehe zum Beispiel Imbens (2010) .

Ein weiteres großes Thema ist natürlich der Standardfehler. Man kann vielleicht ein bekanntes Papier finden, das p-Werte verbreitet. In Ökonometrie haben Standardfehler für längere Zeitreihen oft (in dem verkalkuliert worden Differenz-in-Differenz Design ) aufgrund falscher bestehender Methoden finden Sie hier . Mir ist jedoch kein häufig zitiertes Originalpapier bekannt, das diese Methoden in diesem Zusammenhang vorschlägt, aber ich bin sicher, dass Sie in diesem Bereich einige Beispiele finden werden.

Quellen:

Angrist, Joshua D. und Alan B. Keueger. "Beeinflusst die Schulpflicht die Schule und das Einkommen?" The Quarterly Journal of Economics 106, No. 4 (1991): 979 & ndash; 1014.

Bertrand, Marianne, Esther Duflo und Sendhil Mullainathan. "Wie sehr sollten wir Differenzen-in-Differenzen-Schätzungen vertrauen?" The Quarterly Journal of Economics 119, No. 1 (2004): 249 & ndash; 275.

Bound, John und David A. Jaeger. Zur Gültigkeit der Geburtsjahreszeit als Instrument in Lohngleichungen: Ein Kommentar zu Angrist & Krügers "Beeinflusst die Schulpflicht die Schulnummer w5835. National Bureau of Economic Research, 1996.

Dehejia, Rajeev. "Passende Bewertung der praktischen Neigung: eine Antwort an Smith und Todd." Zeitschrift für Ökonometrie 125, Nr. 1-2 (2005): 355 & ndash; 364.

Imbens, Guido W. "Besser SPÄT als nichts: Einige Kommentare zu Deaton (2009) und Heckman und Urzua (2009)." Zeitschrift für Wirtschaftsliteratur 48, Nr. 2 (2010): 399 & ndash; 423.

LaLonde, Robert J. "Auswertung der ökonometrischen Bewertungen von Trainingsprogrammen mit experimentellen Daten." The American Economic Review (1986): 604-620. *

Ich versuche es (wenn auch nicht so stark):

Das sehr nützliche [Cameron, AC, & Miller, DL (2015). Ein Leitfaden für Praktiker zur Cluster-robusten Inferenz. Journal of Human Resources, 50 (2), 317-372.] // Bereits 1900 Google Scholar Citations // geben Ratschläge zum angemessenen Clustering von Standardfehlern:

"Der Konsens besteht darin, konservativ zu sein und Verzerrungen zu vermeiden und nach Möglichkeit größere und aggregiertere Cluster zu verwenden, bis zu dem Punkt, an dem Bedenken bestehen, zu wenige Cluster zu haben."

Jedoch [A. Abadie, S. Athey, GW Imbens & J. Wooldridge (2017). Wann sollten Sie Standardfehler für das Clustering anpassen? (Nr. W24003). National Bureau of Economic Research.] Zeigt, dass "Clusterbildung auf zu aggregierter Ebene tatsächlich Schaden anrichtet". Siehe Seite 1 der späteren: https://economics.mit.edu/files/13927

Vielleicht könnten Sie auch in der Lage sein, ausgehend von den beiden von Abadie et al. (2017) hervorgehobenen Missverständnissen einen schlagkräftigeren Fall zu machen.