In welchen Einstellungen würden sich die Konfidenzintervalle mit zunehmender Stichprobengröße nicht verbessern?

In einem Blog-Beitrag habe ich die Behauptung gefunden, dass

"Ich glaube, WG Cochrane weist zum ersten Mal (ungefähr in den 1970er Jahren) darauf hin, dass kleine Konfidenzgrößen bei Konfidenzintervallen in einer Beobachtungsumgebung zu einer besseren Abdeckung führen, wobei ausreichend große Stichproben eine Abdeckung nahe Null bieten!"

Jetzt gehe ich davon aus, dass sich die CI-Breite mit zunehmender Stichprobengröße 0 nähern sollte, aber die Idee, dass sich die Abdeckung gleichzeitig verschlechtern würde, überzeugt mich nicht. Ist diese Behauptung wahr und unter welchen Umständen? Oder verstehe ich es falsch?

Ich habe eine Simulation mit zufälligen normalverteilten Daten mit Stichprobengrößen von 10000 bis 1000000 (T-Test mit einer Stichprobe, 95% CI), 1000 Durchläufen bei jeder Stichprobengröße durchgeführt, und die Abdeckung wurde für die höheren Stichprobengrößen nicht schlechter (Stattdessen fand ich die erwartete nahezu konstante Fehlerrate von ~ 5%).

Beachten Sie die Qualifikation "in einer Beobachtungsumgebung".

Wenn Sie den Kontext überprüfen, aus dem Sie das Zitat entnommen haben (das Unterthema der Kommentare, in denen es sich befindet), sieht es so aus, als ob die Absicht eher "in der realen Welt" als in Simulationen ist und wahrscheinlich kein kontrolliertes Experiment enthält. und in diesem Fall ist die wahrscheinliche Absicht eine Folge der Tatsache, dass die Annahmen, unter denen die Intervalle abgeleitet werden, tatsächlich nicht ganz zutreffen. Es gibt zahlreiche Faktoren, die sich auf die Verzerrung auswirken können - die im Vergleich zur Variabilität bei kleinen Stichproben von geringer Auswirkung sind -, die sich jedoch im Allgemeinen mit zunehmender Stichprobengröße nicht verringern, während dies bei Standardfehlern der Fall ist.

Da unsere Berechnungen die Verzerrung nicht berücksichtigen, schrumpfen die Intervalle (as $1/\sqrt n$), jede unveränderliche Tendenz, auch wenn sie ziemlich klein ist, ist größer, so dass unsere Intervalle immer weniger wahrscheinlich den wahren Wert enthalten.

Hier ist eine Illustration - eine, die möglicherweise die Verzerrung überträgt -, um zu zeigen, was meiner Meinung nach damit gemeint ist, dass die Wahrscheinlichkeit einer CI-Abdeckung mit zunehmender Stichprobengröße abnimmt:

Natürlich ist das Intervall in einer bestimmten Stichprobe zufällig - es ist breiter oder schmaler und relativ zum Diagramm nach links oder rechts verschoben, so dass es bei jeder Stichprobengröße eine gewisse Überdeckungswahrscheinlichkeit zwischen 0 und 1, aber einen beliebigen Grad an Verzerrung aufweist wird es gegen Null schrumpfen lassen als $n$erhöht sich. Hier ist ein Beispiel mit 100 Konfidenzintervallen bei jeder Stichprobengröße unter Verwendung simulierter Daten (mit Transparenz dargestellt, sodass die Farbe fester ist, wenn mehr Intervalle sie abdecken):

Süße Ironie. Vor diesem Absatz sagt dieselbe Person: "Kein Wunder, dass es so weit verbreitete Verwirrung gibt." "Konfidenzintervalle in einem Beobachtungsumfeld": Was bedeutet das überhaupt?

Es scheint mir, dass dies wieder eine Verwechslung zwischen Schätzung und Hypothesentest ist .

Jetzt weiß ich, dass sich die CI-Breite mit zunehmender Stichprobengröße 1 nähern sollte.

Nein, das hängt vom Kontext ab. Grundsätzlich sollte die Breite konvergieren$0$. Die Abdeckung sollte für eine große Anzahl von Monte-Carlo-Simulationen nahe am Nennwert liegen. Die Abdeckung hängt nicht von der Stichprobengröße ab, es sei denn, einige der Annahmen, unter denen das CI erstellt wurde, sind fehlerhaft (was das OP möglicherweise implizieren wollte. "Alle Modelle sind falsch", ja.).

Die Referenz ist ein Kommentar in einem Beitrag eines persönlichen Blogs . Ich würde mir keine Sorgen um die Gültigkeit dieser Art von Referenz machen. Der Blog von Larry Wasserman ist dagegen sehr gut geschrieben. Das erinnerte mich an den xkcd-Comic:

http://xkcd.com/386/