Was sind die häufigsten Vorurteile, die Menschen beim Sammeln oder Interpretieren von Daten machen?

Ich bin ein Wirtschafts- / Statistikmajor. Mir ist bewusst, dass Ökonomen versucht haben, ihre Annahmen über menschliches Verhalten und Rationalität zu ändern, indem sie Situationen identifiziert haben, in denen sich Menschen nicht rational verhalten. Angenommen, ich biete Ihnen eine 100% ige Chance auf einen Verlust von 1000 USD oder eine 50% ige Chance auf einen Verlust von 2500 USD . Die Leute wählen die Option 2500 USD , obwohl der erwartete Wert des letzteren ein größerer Verlust ist als ein garantierter Verlust von 1000 USD Verlust. Dies wird als "Verlustaversion" bezeichnet. Verhaltensökonomen untersuchen nun diese Muster und versuchen herauszufinden, wie Menschen von den Axiomen abweichen, von denen normalerweise angenommen wird, dass sie "rationales" Verhalten darstellen. Ich nehme an, dass es vernünftig ist, den am wenigsten erwarteten Verlust zu bevorzugen.

Ich habe mich gefragt, ob Statistiker gemeinsame Muster bei der Datenerfassung identifiziert haben, die zu voreingenommenen Ergebnissen bei der Interpretation von Daten führen. Wenn es im Wesentlichen einen "rationalen" Weg zum Sammeln von Daten gab, gehe ich davon aus, dass es Beispiele gibt, bei denen Menschen davon abweichen und "Voreingenommenheit" zeigen. Wenn ja, was sind die häufigsten Vorurteile, die Menschen beim Sammeln oder Interpretieren von Daten machen?

Ich denke, in der Wissenschaft werden p-Werte sehr häufig falsch interpretiert. Menschen neigen dazu zu vergessen, dass der p-Wert eine bedingte Wahrscheinlichkeit ausdrückt. Selbst wenn ein Experiment perfekt durchgeführt wurde und alle Anforderungen des gewählten statistischen Tests erfüllt sind, liegt die Rate falscher Entdeckungen in der Regel weit über dem Signifikanzniveau Alpha. Die Rate falscher Entdeckungen steigt mit abnehmender statistischer Aussagekraft und Prävalenz wahrer Positiven (Colquhoun, 2014; Nuzzo, 2014).

Darüber hinaus neigen Menschen dazu, ihre Schätzungen als Wahrheit und den von ihnen als zufällig geschätzten Parameter zu betrachten (Haller & Kraus, 2002). Zum Beispiel, wenn sie sagen, dass in „95% der Fälle dieses identifizierte Konfidenzintervall den Parameter abdeckt“ ...

Die Verwechslung von Korrelation und Ursache ist wahrscheinlich auch ein sehr häufiger Fehler bei der Dateninterpretation.

In Bezug auf die Datenerfassung denke ich, dass ein häufiger Fehler darin besteht, die am leichtesten zugängliche und nicht die repräsentativste Stichprobe zu entnehmen.

Colquhoun, D. (2014). Eine Untersuchung der Falschentdeckungsrate und der Fehlinterpretation von P-Werten. Royal Society Open Science, 1–15.

Nuzzo, R. (2014). Statistische Fehler: P-Werte, der "Goldstandard" der statistischen Validität, sind nicht so zuverlässig, wie viele Wissenschaftler annehmen. Nature, 506, 150–152.

Haller, H. & Kraus, S. (2002): Fehlinterpretationen von Bedeutung: Ein Problem, das Schüler mit ihren Lehrern teilen? Methoden der psychologischen Online-Forschung, Band 7, Nr. 1

Ich würde sagen, eine allgemeine Unfähigkeit zu schätzen, wie echte Zufälligkeit aussieht. Die Leute scheinen zu wenige falsche Muster zu erwarten, als sie tatsächlich in Sequenzen von zufälligen Ereignissen auftreten. Dies zeigt sich auch, wenn wir versuchen, die Zufälligkeit selbst zu simulieren.

Ein anderes recht verbreitetes Problem besteht darin, die Unabhängigkeit nicht zu verstehen, wie dies beim Irrtum des Spielers der Fall ist. Wir denken manchmal, dass frühere Ereignisse zukünftige beeinflussen können, selbst wenn es eindeutig unmöglich ist, wie der vorherige Deal eines gemischten Kartenspiels, das einen zukünftigen beeinflusst.

Es wurde bereits darauf hingewiesen, dass viele der Verhaltensweisen und Denkprozesse, die von (Verhaltens-) Ökonomen als "irrational" oder "voreingenommen" bezeichnet werden, in der realen Welt tatsächlich hochgradig anpassungsfähig und effizient sind. Dennoch ist die Frage von OP interessant. Ich denke jedoch, dass es vorteilhaft sein kann, auf grundlegendere, beschreibende Kenntnisse über unsere kognitiven Prozesse zu verweisen, anstatt nach spezifischen "Vorurteilen" zu suchen, die den in der Wirtschaftsliteratur diskutierten entsprechen (z. B. Verlustaversion, Begabungseffekt, Vernachlässigung unterlassen usw.).

Beispielsweise ist die Auswertbarkeit sicherlich ein Problem bei der Datenanalyse. Auswertbarkeitstheorie besagt, dass wir Informationen übergewichten, die wir leicht interpretieren oder auswerten können. Betrachten Sie den Fall eines Regressionskoeffizienten. Die Bewertung der "realen" Konsequenzen eines Koeffizienten kann harte Arbeit sein. Wir müssen die Einheiten der unabhängigen und der abhängigen Variablen sowie die Verteilungen unserer unabhängigen und abhängigen Variablen berücksichtigen, um zu verstehen, ob ein Koeffizient von praktischer Relevanz ist. Die Bewertung der Signifikanz eines Koeffizienten ist hingegen einfach: Ich vergleiche lediglich seinen p-Wert mit meinem Alpha-Wert. Angesichts der besseren Auswertbarkeit des p-Werts im Vergleich zum Koeffizienten selbst ist es kaum verwunderlich, dass so viel aus p-Werten besteht.

(Standardisierung erhöht die Auswertbarkeit eines Koeffizienten, kann jedoch die Mehrdeutigkeit erhöhen : das Gefühl, dass relevante Informationen nicht verfügbar sind oder zurückgehalten werden, weil die "ursprüngliche" Form der von uns verarbeiteten Daten für uns nicht verfügbar ist.)

Eine verwandte kognitive "Voreingenommenheit" ist das Konkretheitsprinzip, die Tendenz, Informationen, die in einem Entscheidungskontext "genau dort" sind und nicht aus dem Gedächtnis abgerufen werden müssen, überzugewichten. (Das Konkretitätsprinzip besagt auch, dass wir Informationen wahrscheinlich in dem Format verwenden, in dem sie angegeben sind, und dass wir Transformationen eher vermeiden.) Die Interpretation eines p-Werts kann durch bloßes Betrachten der Regressionsausgabe erfolgen. Es ist nicht erforderlich, dass ich fundiertes Wissen über das, was ich modelliere, erhalte.

Ich gehe davon aus, dass viele Vorurteile bei der Interpretation statistischer Daten auf das allgemeine Verständnis zurückzuführen sind, dass es wahrscheinlich ist, dass wir bei der Lösung eines Problems oder bei der Urteilsfindung den einfachen Weg gehen (siehe "kognitiver Geizhals", "eingeschränkte Rationalität" usw.). . In ähnlicher Weise erhöht etwas "mit Leichtigkeit" normalerweise das Selbstvertrauen, mit dem wir die resultierenden Überzeugungen vertreten ( Flüssigkeitstheorie ). (Man könnte auch die Möglichkeit in Betracht ziehen, Daten, die einfacher zu artikulieren sind- für uns selbst oder für andere - sind in unseren Analysen übergewichtet.) Ich denke, dies wird besonders interessant, wenn wir mögliche Ausnahmen in Betracht ziehen. Einige psychologische Untersuchungen legen beispielsweise nahe, dass wir, wenn wir der Meinung sind, dass ein Problem schwer zu lösen ist, weniger konkrete und schwierigere Ansätze und Lösungen bevorzugen, z. B. eine eher arkane als eine einfache Methode.

Der größte einzelne Faktor, den ich mir vorstellen kann, ist allgemein als "Bestätigungsverzerrung" bekannt. Nachdem ich mich auf das geeinigt habe, von dem ich glaube, dass es sich um eine Studie handelt, akzeptiere ich unkritisch Daten, die zu dieser Schlussfolgerung führen, und entschuldige mich für alle Datenpunkte, die dies zu widerlegen scheinen. Ich kann Datenpunkte, die nicht zu meiner Schlussfolgerung passen, unbewusst als "offensichtlicher Instrumentenfehler" (oder ein gleichwertiges Ergebnis) zurückweisen. In einigen Fällen wird es nicht ganz so offensichtlich sein; Anstatt diese Datenpunkte gänzlich zu verwerfen, werde ich eine Formel entwickeln, um den "Fehler" zu beseitigen, der die Ergebnisse bequem zur Bestätigung meiner vorab festgelegten Schlussfolgerung lenkt.

Daran ist nichts besonders Schändliches; So funktioniert unser Gehirn. Das Herausfiltern solcher Verzerrungen ist sehr aufwändig, und dies ist einer der Gründe, warum Wissenschaftler Doppelblindstudien so gern durchführen, dass die Person, die die Messungen durchführt, nicht weiß, was das Experiment nachweisen soll. Es erfordert dann enorme Disziplin, das, was er genau gemessen hat, nicht zu ändern.

Linearität .

Ich denke, eine häufige Tendenz bei der Interpretation / Analyse von Daten ist, dass Menschen normalerweise schnell lineare Beziehungen annehmen. Mathematisch geht ein Regressionsmodell davon aus, dass seine deterministische Komponente eine lineare Funktion der Prädiktoren ist; das stimmt leider nicht immer. Ich war kürzlich auf einer Posterkonferenz für Studenten und die Menge an geradlinigen oder nichtlinearen Trends, die ich mit einem linearen Modell kombinieren sah, war, gelinde gesagt, besorgniserregend.

(Dies ist zusätzlich zu den Erwähnungen des Irrtums des Spielers, der Fehlinterpretation von Werten und der wahren Zufälligkeit; +1 für alle relevanten Beiträge.)$p$

Ein interessanter Fall ist die Diskussion des Gamblers Fallacy.

Sollten die vorhandenen Daten einbezogen oder ausgeschlossen werden? Wenn ich mit 6 Sechsen schon vorne bin, sollen diese in meinem Lauf von einem Dutzend Versuchen enthalten sein? Machen Sie sich die vorherigen Daten klar.

Wann sollte ich von absoluten Zahlen zu Verhältnissen wechseln? Es dauert lange, bis der Vorteil, der während einer ersten Siegesserie erzielt wurde, wieder auf Null zurückkehrt (zufälliger Gang).

0,1% einer Million Dollar sind für ein großes Unternehmen vielleicht nicht viel, aber 1000 Dollar zu verlieren kann für einen Einzelunternehmer Leben und Tod bedeuten. Die Möglichkeit, auf Prozentsätze umzuschalten, kann eine Verzerrung sein.

Sogar Statistiker haben Vorurteile.

Ich würde "Thinking, Fast and Slow" von Daniel Kahneman empfehlen , der viele kognitive Vorurteile in klarer Sprache erklärt.

Sie können auch auf " http://www.burns-stat.com/review-thinking-fast-slow-daniel-kahneman/ " verweisen, in dem einige der Vorurteile im obigen Buch zusammengefasst sind.

Für eine detailliertere kapitelweise Zusammenfassung lesen Sie bitte " https://erikreads.files.wordpress.com/2014/04/thinking-fast-and-slow-book-summary.pdf ".