Stellen Sie sich vor, ein Forscher untersucht einen Datensatz und führt 1000 verschiedene Regressionen durch und findet eine interessante Beziehung zwischen ihnen.
Stellen Sie sich nun vor, ein anderer Forscher mit denselben Daten führt nur eine Regression aus, und es stellt sich heraus, dass der andere Forscher 1000 Regressionen durchgeführt hat, um diese zu finden. Forscher 2 kennt Forscher 1 nicht.
Sollte Forscher 1 andere Schlussfolgerungen ziehen als Forscher 2? Warum? Soll beispielsweise Forscher 1 eine Mehrfachvergleichskorrektur durchführen, Forscher 2 jedoch nicht?
Wenn Forscher 2 Ihnen zuerst seine einzelne Regression zeigen würde, welche Schlussfolgerungen würden Sie daraus ziehen? Wenn Ihnen dieser Forscher 1 seine Ergebnisse gezeigt hat, sollten Sie dann Ihre Schlussfolgerung ändern? Wenn ja, warum sollte es wichtig sein?
PS 1 : Wenn das Problem durch das Sprechen über hypothetische Forscher abstrakt wird, denken Sie darüber nach: Stellen Sie sich vor, Sie haben nur eine Regression für Ihre Arbeit durchgeführt und dabei die beste verfügbare Methode angewendet. Dann untersuchte ein anderer Forscher 1000 verschiedene Regressionen mit denselben Daten, bis er genau dieselbe Regression fand, die Sie ausgeführt haben . Sollten Sie zwei unterschiedliche Schlussfolgerungen ziehen? Sind die Beweise für beide Fälle gleich oder nicht? Sollten Sie Ihre Schlussfolgerung ändern, wenn Sie die Ergebnisse der anderen Forscher kennen? Wie soll die Öffentlichkeit die Evidenz der beiden Studien bewerten?
PS 2: Bitte versuchen Sie genau zu sein und wenn möglich eine mathematisch / theoretische Begründung zu liefern!