Was ist das Problem bei Post-Hoc-Tests?

Mein Statistikprofessor sagt es so, alle Bücher, die ich mir anschaue, sagen es aus: Post-hoc-Tests sind unwissenschaftlich. Sie müssen zuerst eine Hypothese aus der Theorie ableiten und dann Daten sammeln und analysieren.

Aber ich verstehe das Problem wirklich nicht.

Angenommen, ich sehe Verkaufszahlen für verschiedene Autofarben und gehe davon aus, dass aus der Anzahl der verkauften Autos mit verschiedenen Farben die größte Gruppe von Autos auf der Straße weiß sein sollte. Also sitze ich eines Tages auf einer Straße und bemerke die Farben aller Autos, die an mir vorbeifahren. Dann mache ich ein paar Tests und finde was auch immer.

Angenommen, ich war gelangweilt und habe eines Tages auf einer Straße gesessen und alle Farben aller Autos bemerkt, die an mir vorbeifuhren. Da ich Graphen liebe, zeichne ich ein hübsches Histogramm und finde, dass weiße Autos die größte Gruppe bilden. Ich denke also, dass die meisten Autos auf der Straße weiß sind und einige Tests durchführen.

Wie und warum unterscheiden sich die Ergebnisse oder die Interpretation der Ergebnisse des Post-Hoc-Tests von denen des theoretisch gesteuerten * Hypothesentests?

_{* Wie heißt eigentlich das Gegenteil eines Post-Hoc-Tests?}

Ich möchte hinzufügen, dass der größte Teil unseres Wissens über das Universum (die Erde bewegt sich um die Sonne) post hoc aus der Beobachtung abgeleitet wird.

Es scheint mir, dass es in der Physik völlig in Ordnung ist anzunehmen, dass es kein Zufall ist, dass die Sonne im Osten seit tausend Jahren aufgeht.

„Weißt du, das Erstaunlichste ist mir heute Abend passiert. Ich bin auf dem Weg zur Vorlesung hierher gekommen und bin über den Parkplatz hereingekommen. Und du wirst nicht glauben, was passiert ist. Ich habe ein Auto mit dem Führerschein gesehen Kennzeichen ARW 357. Können Sie sich vorstellen? Von all den Millionen von Kennzeichen in diesem Bundesstaat, wie groß war die Chance, dass ich dieses Kennzeichen heute Abend sehen würde? Erstaunlich! " Richard Feynman

Ich bin der Meinung, dass ich nicht in der Lage bin, die tiefen technischen Aspekte dieses Problems zu erklären. Ich denke jedoch, dass viele von ihnen auf eine Intuition reduziert werden können.

Im ersten Setup beginnen Sie mit einer Hypothese, die Sie auf neuen Daten (aus dem entworfenen Experiment) überprüfen. Das Studium der Verkaufszahlen kann Sie zu einem sehr gut durchdachten Experiment führen, in dem Sie wirklich entscheiden können, wie stark Ihre Antwort sein soll (statistische Aussagekraft, p-Werte, Stichprobengröße und viele andere Dinge).

Bei der zweiten Einstellung entscheiden Sie zunächst nichts über die Stärke der Antwort. Das ist ein Problem. Das zweite Problem ist, dass das Extrahieren der Hypothese aus derselben Probe, die für Tests verwendet wurde, die Wahrscheinlichkeit, dass zufällige Muster als wertvolle Informationen interpretiert werden, auf eine sehr unkontrollierbare Weise erhöht. Was Sie tun, ist, etwas zu bemerken (dass weiße Autos in großer Zahl sind) und sich zu fragen, ob dies von Bedeutung ist. Der Punkt ist, dass Sie nur eine bemerkenswerte Tatsache ausgewählt haben , die in dieser Stichprobe sichtbar ist, und andere Hypothesen verworfen haben. Auf diese Weise haben Sie günstige Voraussetzungen für eine Hypothese geschaffen und die Annahmen der meisten statistischen Apriori-Tests verletzt.

Es ist nicht wissenschaftlich, sich so zu verhalten, als ob Sie nichts über dieses Leck wüssten , und so zu tun, als wäre es ein Experiment mit all seinen Annahmen, wenn es nicht wahr ist. In diesem Fall ist es wissenschaftlich, eine Post-Hoc-Analyse zu verwenden, um eine Hypothese zu formulieren und ein brandneues Experiment zu entwerfen, um es zu testen.

Wenn Sie zuerst Daten sammeln und dann eine auf diesen Daten basierende Theorie aufbauen, besteht die Gefahr, dass Sie Ihren Beobachtungen eine Geschichte zuordnen. Das Problem ist, dass wir Menschen sehr gut darin sind, Geschichten zu schreiben. Anders ausgedrückt: Alle Daten können durch eine Story "erklärt" werden, wenn die Story nur ausreichend verwickelt ist.

Dieser Prozess sorgt für nette Anekdoten. Es gibt jedoch keinen Grund, die Realität zu erklären und / oder gute Vorhersagen zu treffen. Dazu müssen Sie ein Modell einrichten und validieren .

xkcd merkt an, dass dieses Phänomen Sportkommentare durchdringt :

Verwandt ist das Phänomen der Pareidolie : Muster sehen, wo keine existieren. Siehe zum Beispiel die "Face" -Personen, die in früheren Satellitenbildern des Mars gesehen wurden:

Wenn Sie mehr Daten sammeln, müssen Sie außerdem darauf achten, dass Sie Ihre Geschichte nicht auf immer bizarrere Weise optimieren, damit Ihre Beobachtungen "weiter" "erklärt" werden :

Wissenschaft funktioniert, indem sie Hypothesen bildet (die natürlich durch Erfahrung motiviert sind ), Vorhersagen auf der Grundlage dieser Hypothesen macht und sie dann testet. Wäre es sinnvoll, etwas in der Vergangenheit zu beobachten, diese Beobachtung in eine Theorie zu verallgemeinern und dann die Vergangenheit selbst als eine Art rückwirkendes Experiment zu behandeln, das die Theorie automatisch validiert? Nein, denn die ganze Frage war, wie gut sich Ihre Theorie verallgemeinert, nicht, ob sie in der Vergangenheit einmal funktioniert hat oder nicht. Aus diesem Grund wird das Testen der von den Daten vorgeschlagenen Hypothesen als schlechte Wissenschaft angesehen.

Ihr Professor und die anderen Antworten stimmen, dass Post-Hoc-Analysen Probleme haben. Sie haben jedoch auch Recht, dass viele gute wissenschaftliche Erkenntnisse aus der Post-hoc-Analyse stammen. Der entscheidende Punkt ist, dass richtig gestaltete Experimente bevorzugt werden sollten und dass die Post-hoc-Analyse mit Vorsicht und mit speziellen Werkzeugen behandelt werden sollte, um zu verhindern, dass durch tatsächliche Entdeckungen falsche Artefakte verloren gehen. Ein Wikipedia-Artikel über die Rate falscher Entdeckungen gibt möglicherweise einen Einblick in das Problem.

Um nur ein paar Beispiele zu nennen:

• Wenn wir biometrische Messungen an der gesamten Weltbevölkerung von Rindern vornehmen, können wir daraus schließen, dass Rinder zwei Nasenlöcher haben. Das ist in der Tat eine Post-hoc-Analyse, aber der größte Teil der Biologie, Vulkanologie oder Geschichte wurde auf diese Weise erstellt. Der Grund, warum wir die Tatsache, dass Rinder zwei Nasenlöcher haben, nicht ablehnen, ist der Beweis dafür, dass es so überwältigend ist.
• Wir nehmen Daten von Kälbern, die im Vorjahr in einer bestimmten Rinderfarm geboren wurden. Wir stellen fest, dass an jedem Dienstag bei Vollmond mehr als 50% der neugeborenen Kälber weiblich waren - mit Ausnahme der Feiertage in diesem Land oder der Winterdienstage. Wenn wir vorher die Hypothese aufgestellt hätten, dass diese Art von Tagen mehr weibliche Kälber hervorbringt, könnten wir einen Hypothesentest durchführen und diese Hypothese akzeptieren (oder ablehnen). Wenn wir jedoch berücksichtigen, dass es sich nur um eine Post-hoc-Analyse handelt, reichen die Beweise nicht aus, um ein falsches Phänomen zurückzuweisen.

Es gibt einen häufig zitierten Artikel, in dem ironischerweise alle Beweise dafür zurückgewiesen werden, dass Fallschirme als Anekdoten nützlich sind - was nur eine besonders schlechte Beweiseklasse ist, die auf einer Post-hoc-Analyse basiert.

Und um ein gutes Beispiel von Stephan Kolassas Antwort zu verwenden: Einige dunkle Flecken, die einem Gesicht auf dem Mars ähneln, können als Pareidolie zurückgewiesen werden, aber etwas, das das letzte Abendmahl von Leonardo Da Vinci bis ins kleinste Detail reproduziert, konnte nicht.

Wenn Sie keine Theorie haben, die Ihre Aussagen stützt, kann dies durch Zufall geschehen und beweist nichts. Zum Beispiel stelle ich fest, dass ich Töpfchen mache, wenn die Sonne aufgeht, und mache das seit 10 Jahren - basierend auf diesen Daten zeigt mir eine Post-Hoc-Analyse, dass es eine Beziehung zwischen meinem Töpfchen und dem Aufgang der Sonne gibt. wohingegen das, was existiert, nur ein Zufall ist. Die Sonne geht nicht auf, weil Sie töpfchen oder umgekehrt.

Das Leben ist voller Zufälle. Theoretisch abgesicherte Aussagen eliminieren solche Zufälle oder Pseudobeziehungen.

Hier ist eine Intuition, die Sie vielleicht nützlich finden. Wenn Sie gelangweilt sind und Autos zählen, müssen Sie sich immer noch daran erinnern, dass das, was Sie sehen, das Ergebnis eines zufälligen Prozesses ist. Insbesondere könnten die Autos unterschiedliche Farben haben.

Wenn Sie also die Hypothese aufstellen, dass die häufigste Farbe Weiß ist, kann dies daran liegen, dass dies tatsächlich der Fall ist, es kann aber auch sein, dass die häufigste Farbe Rot ist. In diesem speziellen Experiment war jedoch die häufigste Farbe Weiß (was immer möglich ist) ).

Nun, wenn du es tust post-hoc , werden Sie prüfen Weiß am häufigsten vorkommt, und angesichts der Daten, die diese Hypothese nahelegen, können Sie durchaus den Schluss ziehen, dass Weiß am häufigsten vorkommt ... Zumindest werden die Daten niemals widersprechen die (post-hoc) Hypothese.