Folgen einer Überschreitung der Probengröße nach Bestimmung der Probe in der Leistungsanalyse

Herausforderung

In unserem Büro war ich an einer Diskussion über die Stichprobengröße und ihren Einfluss auf die Effektgröße beteiligt. Können Sie mir weiterhelfen und erklären?

Base

Bei der Durchführung einer Leistungsanalyse kann die Stichprobengröße für eine bestimmte Effektgröße in einem bestimmten Design bestimmt werden.

Problem / Diskussion

Was passiert, wenn die a priori ermittelte Stichprobengröße überschritten wird (z. B. war die ermittelte Stichprobe in der Leistungsanalyse , aber wir konnten )?N = $N=100$$N=1000$

Position 1: Große Sample-Größen zerhacken / zerstören Effektgrößen. Bei Verwendung größerer Proben als bei der Leistungsanalyse ermittelt, besteht die Gefahr, dass "alles signifikant wird" (auch geringfügige, praktisch irrelevante Effekte). Daher sollten wir uns auf bestimmte Proben aus der Leistungsanalyse verlassen. Auf diese Weise können wir "echte / relevante" Effekte aufdecken.

oder

Position 2: Die Bestimmung der Probengröße bezieht sich auf die minimale Probengröße, die erforderlich ist, um einen bestimmten Effekt aufzudecken. Große Probengrößen sind vorteilhaft, z. B. wegen abnehmender Messfehler. Daher können reale Effekte leichter aufgedeckt werden. Post-hoc- Effektgrößenberechnungen bieten Informationen über die Relevanz des Effekts.

oder

Position 3: Position 1 gegenüber Position 2 hängen vom Studiendesign ab (z. B. Position 1 für t-Test, da nach "relevanten Effekten" gesucht wird, Position 2 für CFA / SEM, um stabilere und zuverlässigere Ergebnisse zu erzielen).

oder

Position 4: Eine weitere mögliche Position für eine alternative Erklärung.

Es besteht die Gefahr, dass "alles signifikant wird" (auch geringfügige, praktisch irrelevante Auswirkungen).

Dies ist kein Argument gegen große Stichproben, sondern ein direktes Argument gegen das Testen von Hypothesen für Ihr spezielles Problem.

Wenn Sie Probleme haben, kleine Effektgrößen abzulehnen, verwenden Sie keine gewöhnlichen Hypothesentests .

Möglicherweise benötigen Sie einen Äquivalenztest (oder möglicherweise einen Nicht-Minderwertigkeitstest).

Möglicherweise benötigen Sie eine Intervallschätzung der Effektgröße (dh ein Konfidenzintervall).

Es kann sein, dass Sie etwas anderes brauchen.

Dies bezieht sich auch auf Position 3. Wenn Sie eine Vorstellung von einem "relevanten Effekt" haben, sollten Sie keine gewöhnlichen Hypothesentests verwenden .

Wenn Ihre Position nicht so ist, dass mehr Leistung besser ist, verwenden Sie diese Hypothesentests nicht mehr . Es ist nicht das richtige Werkzeug für diesen Job.