Warum neigt das Testen von Frequentist-Hypothesen dazu, die Nullhypothese bei ausreichend großen Stichproben abzulehnen?

Ich habe gerade diesen Artikel über den Bayes-Faktor gelesen, als ich auf diese Passage gestoßen bin

Das Testen von Hypothesen mit Bayes-Faktoren ist robuster als das Testen von häufig auftretenden Hypothesen, da die Bayes-Form eine Verzerrung der Modellauswahl vermeidet, Belege zugunsten der Nullhypothese auswertet, Modellunsicherheit einschließt und das Vergleichen von nicht verschachtelten Modellen ermöglicht (obwohl das Modell natürlich verglichen werden muss) haben die gleiche abhängige Variable). Frequentistische Signifikanztests neigen auch dazu, die Nullhypothese mit einer ausreichend großen Stichprobe abzulehnen. [Betonung hinzugefügt]

Ich habe diese Behauptung bereits in Karl Fristons 2012er Veröffentlichung in NeuroImage gesehen , wo er sie den Irrtum der klassischen Folgerung nennt .

Ich hatte einige Probleme, einen wirklich pädagogischen Bericht darüber zu finden, warum dies wahr sein sollte. Im Einzelnen frage ich mich:

1. warum dies auftritt
2. wie man sich dagegen schützt
3. Wenn das nicht gelingt, wie man es erkennt

$p$$p$

Antwort auf Frage 2: Innerhalb eines Rahmens für das Testen von Frequentist-Hypothesen kann man sich davor schützen, indem man nicht nur auf das Erkennen von Unterschieden schließt . Zum Beispiel kann man Schlussfolgerungen über Differenz und Äquivalenz so kombinieren , dass man die Beweislast für den Nachweis der Wirkung nicht gegenüber dem Beweis für die Abwesenheit der Wirkung bevorzugt (oder in Konflikt bringt!) . Der Beweis für das Fehlen einer Wirkung kommt zum Beispiel von:

1. zwei einseitige Äquivalenztests (TOST),
2. gleichmäßig leistungsfähigste Äquivalenztests und
3. $1-2\alpha$$\alpha$

Was diese Ansätze alle gemeinsam haben, ist eine a priori Entscheidung darüber, welche Effektgröße einen relevanten Unterschied darstellt, und eine Nullhypothese, die in Bezug auf einen Unterschied festgelegt ist, der mindestens so groß ist, wie das, was als relevant angesehen wird.

$_{0}^{+}$$_{0}^{-}$

Beachten Sie den linken oberen Quadranten: ein überwältigten Test ist , wo ja Sie die Nullhypothese keinen Unterschied ablehnen, aber Sie lehnen auch die Nullhypothese relevanter Unterschied, also ja es gibt einen Unterschied, aber Sie haben von vornherein entschieden Sie sich nicht um sie kümmern es, weil es zu klein ist.

Antwort auf Frage 3: Siehe Antwort auf 2.

Frequentistische Tests mit großen Stichproben weisen KEINE Tendenz auf, die Nullhypothese abzulehnen, wenn die Nullhypothese wahr ist. Wenn die Annahmen des Tests gültig sind und die Nullhypothese wahr ist, besteht kein höheres Risiko, dass eine große Stichprobe zur Ablehnung der Nullhypothese führt als eine kleine Stichprobe. Wenn die Null nicht wahr ist, würden wir sie mit Sicherheit gerne ablehnen. Die Tatsache, dass eine große Stichprobe häufiger eine falsche Null als eine kleine Stichprobe ablehnt, ist keine Verzerrung, sondern ein angemessenes Verhalten.

Die Angst vor übermächtigen Experimenten basiert auf der Annahme, dass es nicht gut ist, die Nullhypothese abzulehnen, wenn sie beinahe wahr ist. Aber wenn es nur annähernd wahr ist, dann ist es tatsächlich falsch! Verwerfen, aber die beobachtete Effektgröße nicht übersehen (und deutlich ausweisen). Es mag trivial klein sein und daher keine ernsthafte Überlegung wert sein, aber eine Entscheidung zu diesem Thema muss nach Berücksichtigung von Informationen von außerhalb des Hypothesentests getroffen werden.