Ist es in Ordnung, die Stichprobengröße dynamisch zu erhöhen, wenn dies a priori angegeben wird?

Ich bin dabei, eine Studie über die Vorzüge eines Stimulus im Vergleich zu einem anderen mit einem themeninternen Design durchzuführen. Ich verfüge über ein Permutationsschema, mit dem die Reihenfolgeeffekte einiger Teile der Studie (Aufgabentypreihenfolge, Stimulusreihenfolge, Aufgabensatzreihenfolge) reduziert werden sollen. Das Permutationsschema schreibt vor, dass die Stichprobengröße durch 8 teilbar ist.

Um die Stichprobengröße zu bestimmen, müsste ich entweder eine Vermutung anstellen (eine gute Tradition auf meinem Gebiet) oder die Stichprobengröße für meine gewünschte Leistung berechnen. Das Problem ist jetzt, dass ich nicht die geringste Ahnung habe, wie groß der Effekt ist, den ich beobachten werde (auch eine gute Tradition in meinem Bereich). Das heißt, die Leistungsberechnung ist etwas schwierig. Andererseits könnte es auch schlecht sein, eine Vermutung anzustellen, weil ich entweder eine zu geringe Stichprobengröße herausbringe oder meinen Teilnehmern zu viel Geld zahle und zu viel Zeit im Labor verbringe.

Ist es in Ordnung, im Voraus anzugeben, dass ich Teilnehmer in Gruppen von 8 Personen hinzufüge, bis ich einen Korridor mit zwei p-Werten verlasse? ZB 0,05 <p <0,30? Oder wie soll ich sonst vorgehen?

Um Ihre Frage direkt zu beantworten: Nein, Sie können nicht einfach weitermachen, bis Sie einen signifikanten p-Wert erhalten. Das von Ihnen vorgeschlagene Design weist eine Fehlerrate von Typ I über 5% auf. Die zugrunde liegende Idee ist jedoch richtig, mit der Ausnahme, dass Sie die Grenzwerte anpassen müssen. Tatsächlich gibt es, wie @ cardinal in den Kommentaren erwähnte, ein ganzes Forschungsgebiet für Ihre Frage: Diese werden sequentielle oder gruppensequenzielle oder allgemeiner adaptive Entwürfe genannt (sie sind nicht die gleichen Dinge, sondern die ganze Zeit über Linien Ihrer Idee).

Hier ist ein Hinweis , dass einige der grundlegenden Ideen zeigt: C. Mehta, P. Gao, DL Bhatt, RA Harrington, S. Skerjanec, JH Ware Optimizing Studiendesign: Sequential, Adaptive und Anreicherungsstrategien Circulation. 2009; 119: 597 & ndash; 605

Haben Sie darüber nachgedacht, die Leistung in verschiedenen Effektgrößen zu prüfen? Ich berechne zum Beispiel häufig die Leistung als Kurve und habe am Ende eine Vielzahl potenzieller Szenarien im Diagramm, in denen ich dann eine Stichprobenentscheidung treffen kann. Zum Beispiel könnte ich die benötigte Stichprobengröße für Effektmaße berechnen, die von sehr nahe bei Null bis etwas höher reichen als meine wildesten Träume, in denen ich durch Peer-Review-Träume segeln werde.

Ich könnte auch andere Szenarien zeichnen, je nachdem wie viel ich über die Daten nicht weiß. Im Folgenden sehen Sie beispielsweise eine grafische Darstellung, die die Leistung berechnet und nicht die Stichprobengröße, sondern ein ähnliches Konzept aufweist. Ich weiß sehr wenig über die Daten, daher habe ich für eine Überlebensanalyse eine Ereignisrate von 10% angenommen und dann die Leistung der Studie (Stichprobengröße wurde festgelegt) unter einer Reihe von Bedingungen berechnet:

In diesem Fall kann man sogar die Anzahl der Ereignisse variieren, sodass Sie entweder mehrere Diagramme oder eine "Power Surface" erhalten. Dies scheint eine viel schnellere Möglichkeit zu sein, zumindest dort, wo Sie nach dem Stichprobenumfang suchen sollten, als den Stichprobenumfang im laufenden Betrieb zu ändern. Oder geben Sie zumindest eine Schwelle an, bei der Sie das Hinzufügen von Personen beenden können. Wenn Ihre Berechnungen beispielsweise ergeben, dass 1.000 Personen eine sehr geringe Auswirkung haben, z. B. eine Gefährdungsquote von 1,01 oder dergleichen, wissen Sie, dass Sie bei einem Treffer aufhören können, Personen hinzuzufügen, weil Es ist kein Stromversorgungsproblem, sondern ein "Es gibt nichts da" -Problem.

Bei Leistungsberechnungen lautet die Frage, die ich normalerweise stelle (auf meinem Gebiet, das auch diese Traditionen hat): "Wie groß müsste ein Effekt sein, damit sich die Menschen darum kümmern?". Wenn Ihre Methode mit einer Verbesserung von 0,1% "signifikant" besser ist, interessiert es dann irgendjemanden? Wie wäre es mit einer Verbesserung um 0,01%?