Approximationsfehler des Konfidenzintervalls für den Mittelwert, wenn

15

Sei eine Familie von iid Zufallsvariablen, die Werte in annehmen und einen Mittelwert und eine Varianz . Ein einfaches Konfidenzintervall für den Mittelwert unter Verwendung von ist gegeben durch $\{X_i\}_{i=1}^n$ $[0,1]$ $\mu$ $\sigma^2$ $\sigma$

P (| \bar{X} - μ | > ε) \leq \frac{σ^{2}}{n ε^{2}} \leq \frac{1}{n ε^{2}} (1) .

$P( | \bar X - \mu| > \varepsilon) \le \frac{\sigma^2}{n\varepsilon^2} \le\frac{1}{n \varepsilon^2} \qquad (1).$

Da als normale Zufallsvariable asymptotisch verteilt ist, wird die Normalverteilung manchmal verwendet, um ein ungefähres Konfidenzintervall zu "konstruieren". $\frac{\bar X- \mu}{\sigma/\sqrt{n}}$

In Multiple-Choice-Statistikprüfungen musste ich diese Näherung anstelle von wenn . Ich habe mich immer sehr unwohl gefühlt (mehr als Sie sich vorstellen können), da der Approximationsfehler nicht quantifiziert wird. $(1)$ $n \geq 30$

Warum die normale Näherung anstelle von ? $(1)$
Ich möchte die Regel nie wieder blind anwenden . Gibt es gute Referenzen, die mich bei einer Ablehnung unterstützen und geeignete Alternativen anbieten können? ( ist ein Beispiel für eine meiner Meinung nach geeignete Alternative.) $n \geq 30$ $(1)$

Hier sind und zwar unbekannt, sie sind jedoch leicht zu begrenzen. $\sigma$ $E[ |X|^3]$

Bitte beachten Sie, dass meine Frage eine Referenzanfrage ist, insbesondere zu Konfidenzintervallen, und sich daher von den Fragen unterscheidet, die hier und hier als Teilduplikate vorgeschlagen wurden . Es wird dort nicht beantwortet.

— Olivier
quelle

2

Möglicherweise müssen Sie die in klassischen Referenzen gefundene Annäherung verbessern und die Tatsache ausnutzen, dass sich in was, wie Sie bemerkt haben, Informationen über die Momente liefert. Ich glaube, das magische Werkzeug wird der Berry-Esseen-Satz sein!

X_{i}

$X_i$

(0, 1)

$(0, 1)$

— Yves

1

Mit diesen Grenzen kann die Varianz nicht größer als 0,25 sein, viel besser als 1, nicht wahr?

— Carlo

3

Warum normale Approximation verwenden?

Es ist so einfach wie zu sagen, dass es immer besser ist, mehr Informationen als weniger zu verwenden. Die Gleichung (1) verwendet den Satz von Chebyshev . Beachten Sie, dass es keine Informationen über die Form Ihrer Verteilung verwendet, dh, es funktioniert für jede Verteilung mit einer bestimmten Varianz. Wenn Sie also Informationen über die Form Ihrer Verteilung verwenden, müssen Sie eine bessere Annäherung erhalten. Wenn Sie wissen, dass es sich bei Ihrer Verteilung um eine Gauß-Verteilung handelt, erhalten Sie mit diesem Wissen eine bessere Schätzung.

Da Sie bereits den zentralen Grenzwertsatz anwenden, warum nicht die Gaußsche Approximation der Grenzen verwenden? Sie werden tatsächlich besser, enger (oder schärfer) sein, da diese Schätzungen auf der Kenntnis der Form beruhen, die eine zusätzliche Information darstellt.

Die Faustregel 30 ist ein Mythos, der von der Bestätigungsverzerrung profitiert . Es wird immer wieder von einem Buch in ein anderes kopiert. Einmal fand ich eine Referenz, die diese Regel in einem Artikel aus den 1950er Jahren vorschlug. Es war kein solider Beweis, wie ich mich erinnere. Es war eine Art empirische Studie. Grundsätzlich ist der einzige Grund, warum es verwendet wird, dass es funktioniert. Du siehst es nicht oft böse verletzt.

UPDATE Schlagen Sie in dem Artikel von Zachary R. Smith und Craig S. Wells über " Central Limit Theorem and Sample Size " nach. Sie präsentieren eine empirische Studie zur Konvergenz von CLT für verschiedene Arten von Verteilungen. Die magische Zahl 30 funktioniert natürlich in vielen Fällen nicht.

— Aksakal
quelle

+1 Für eine vernünftige Erklärung. Aber besteht nicht die Gefahr, dass Informationen verwendet werden, die nicht ganz richtig sind? Die CLT sagt nichts über die Verteilung von

für ein festes

.

\bar{X}

$\bar X$

n

$n$

— Olivier

Richtig, CLT sagt nichts über die Verteilung der endlichen Stichprobe aus, aber keine asympthotischen Gleichungen. Da sie jedoch zweifellos nützliche Informationen enthalten, werden überall begrenzende Beziehungen verwendet. Das Problem mit Chebyshevs ist, dass es so breit ist, dass es außerhalb des Klassenzimmers selten verwendet wird. Zum Beispiel ist für eine Standardabweichung die Wahrscheinlichkeit

- kaum praktische Informationen

< 1 / k^{2} = 1

$<1/k^2=1$

— Aksakal

Wenn

mit gleicher Wahrscheinlichkeit die Werte 0 oder 1 annimmt, ist Ihre Anwendung von Chebyshev scharf. ;) Das Problem ist, dass Chebyshev, angewendet auf einen Stichprobenmittelwert, niemals scharf bleibt, wenn

wächst.

X

$X$

n

$n$

— Olivier

Ich weiß nicht, was Smith und Wells 'Papier betrifft, ich habe versucht, es in R zu reproduzieren und konnte ihre Schlussfolgerungen nicht wiederfinden ...

— Alex Nelson

9

Das Problem bei der Verwendung der Chebyshev-Ungleichung, um ein Intervall für den wahren Wert zu erhalten, besteht darin, dass Sie nur eine untere Grenze für die Wahrscheinlichkeit erhalten, die außerdem manchmal trivial ist oder, um nicht trivial zu sein, eine sehr breite Konfidenzintervall. Wir haben

P (| \bar{X} - μ | > ε) = 1 - P (\bar{X} - ε \leq μ \leq \bar{X} + ε)

$P( | \bar X - \mu| > \varepsilon) = 1 - P(\bar X-\varepsilon \leq \mu \leq \bar X+\varepsilon)$

⟹ P (\bar{X} - ε \leq μ \leq \bar{X} + ε) \geq 1 - \frac{1}{n ε^{2}}

$\implies P(\bar X-\varepsilon \leq \mu \leq \bar X+\varepsilon) \geq 1- \frac{1}{n \varepsilon^2}$

Wir sehen, dass wir, abhängig von der Stichprobengröße, die triviale Antwort "die Wahrscheinlichkeit ist größer als Null" erhalten , wenn wir "zu viel" verringern . $\varepsilon$

Abgesehen davon erhalten wir aus diesem Ansatz eine Schlussfolgerung der Form "", dass die Wahrscheinlichkeit, dass in fällt, gleich oder größer ist als ... " $\mu$ $[\bar X \pm \varepsilon]$

Nehmen wir jedoch an, dass wir damit gut umgehen und bezeichnen die Mindestwahrscheinlichkeit, mit der wir uns wohl fühlen. Also wollen wir $p_{min}$

1 - \frac{1}{n ε^{2}} = p_{m ich n} ⟹ ε = \sqrt{\frac{1}{(1 - p_{m ich n}) n}}

$1- \frac{1}{n \varepsilon^2} = p_{min} \implies \varepsilon = \sqrt {\frac {1}{(1-p_{min})n}}$

Dies kann bei kleinen Stichprobengrößen und hoher gewünschter Mindestwahrscheinlichkeit ein unbefriedigend breites Konfidenzintervall ergeben. ZB für und wir , was zum Beispiel für die Variable, die von der in begrenzten OP behandelt wird , zu groß erscheint, um nützlich zu sein. $p_{min} =0.9$ $n=100$ $\varepsilon \approx .316$ $[0,1]$

Der Ansatz ist jedoch gültig und vertriebsfrei, sodass es Fälle geben kann, in denen er nützlich sein kann.

Man kann auch die in einer anderen Antwort erwähnte Vysochanskij-Petunin-Ungleichung prüfen , die für kontinuierliche unimodale Verteilungen gilt und die Ungleichung von Chebyshev verfeinert.

— Alecos Papadopoulos
quelle

Ich bin damit nicht einverstanden, dass ein Problem mit Chebychev darin besteht, dass es nur eine Untergrenze für die Wahrscheinlichkeit gibt. In einer verteilungsfreien Umgebung ist eine Untergrenze das Beste, auf das wir hoffen können. Die wichtigen Fragen sind: Ist Tschebytschow scharf? Wird die Länge des Chebychev CI für ein festes Niveau

systematisch überschätzt ? Ich habe dies in meinem Beitrag aus einer bestimmten Sicht beantwortet. Ich versuche jedoch immer noch zu verstehen, ob Tschebytschow für einen Stichprobenmittelwert im engeren Sinne immer nicht scharf genug ist.

α

$\alpha$

— Olivier

Die Länge des CI wird nicht geschätzt, da es keine einzige unbekannte Länge gibt. Daher bin ich mir nicht sicher, was Sie hier mit dem Wort "Überschätzung" meinen. Unterschiedliche Methoden liefern unterschiedliche CIs, die wir dann natürlich zu bewerten und zu bewerten versuchen können.

— Alecos Papadopoulos

Überbewertung war eine schlechte Wortwahl, danke für den Hinweis. Mit "systematisch überschätzter Länge" meinte ich, dass die Methode zur Ermittlung eines CI immer etwas Größeres ergibt als nötig.

— Olivier

1

@Olivier Im Allgemeinen ist die Chebyshev-Ungleichung als lose Ungleichung bekannt und wird daher eher als Werkzeug für theoretische Ableitungen und Beweise als für angewandte Arbeiten verwendet.

— Alecos Papadopoulos

2

@Olivier "Generell" deckt Ihre Qualifikation ab, würde ich sagen.

— Alecos Papadopoulos

7

Die kurze Antwort ist, dass es ziemlich schlecht laufen kann, aber nur, wenn einer oder beide Schwänze der Stichprobenverteilung wirklich fett sind .

Dieser R-Code generiert eine Million Sätze von 30 Gamma-verteilten Variablen und berechnet deren Mittelwert. Es kann verwendet werden, um ein Gefühl dafür zu bekommen, wie die Stichprobenverteilung des Mittelwerts aussieht. Wenn die normale Approximation wie beabsichtigt funktioniert, sollten die Ergebnisse mit Mittelwert 1 und Varianz ungefähr normal sein 1/(30 * shape).

f = function(shape){replicate(1E6, mean(rgamma(30, shape, shape)))}

Wenn shape1.0 ist, wird die Gamma-Verteilung zu einer Exponentialverteilung , was ziemlich unüblich ist. Nichtsdestotrotz sind die nicht-Gaußschen Anteile meistens durchschnittlich und daher ist die Gaußsche Approximation nicht so schlecht:

Es gibt eindeutig eine gewisse Voreingenommenheit, und es wäre gut, dies zu vermeiden, wenn dies möglich ist. Aber ehrlich gesagt, wird dieses Vorurteil wahrscheinlich nicht das größte Problem einer typischen Studie sein.

Trotzdem kann es noch viel schlimmer kommen. Mit f(0.01)sieht das Histogramm folgendermaßen aus:

Das Protokolltransformieren der 30 abgetasteten Datenpunkte vor der Mittelwertbildung ist jedoch sehr hilfreich:

Im Allgemeinen erfordern Verteilungen mit langen Schwänzen (auf einer oder beiden Seiten der Verteilung) die meisten Abtastwerte, bevor die Gaußsche Näherung verlässlich wird. Es gibt sogar pathologische Fälle, in denen es buchstäblich nie genug Daten gibt, damit die Gaußsche Näherung funktioniert, aber in diesem Fall treten wahrscheinlich ernstere Probleme auf (da die Stichprobenverteilung zu Beginn keinen genau definierten Mittelwert oder keine Varianz aufweist) mit).

— David J. Harris
quelle

Ich finde das Experiment sehr sachdienlich und interessant. Ich werde dies jedoch nicht als Antwort nehmen, da es den Kern des Problems nicht anspricht.

— Olivier

1

Was ist der springende Punkt?

— David J. Harris

Ihre Antwort bietet keine solide Grundlage für eine fundierte statistische Praxis. Es gibt nur Beispiele. Beachten Sie auch, dass die Zufallsvariablen, die ich betrachte, begrenzt sind, was den schlimmsten möglichen Fall stark verändert.

— Olivier

@ Glen_b: Diese Antwort ist für Ihre überarbeitete Version der Frage nicht so relevant. Soll ich es einfach hier lassen oder würdest du etwas anderes empfehlen?

— David J. Harris

3

Problem mit dem Konfidenzintervall von Chebyshev

$\sigma^2 \le \frac{1}{4}$ $\text{Var}(X) \le \mu(1-\mu)$ $\mu$

P (| \bar{X} - μ | \geq ε) \leq \frac{1}{4 n ε^{2}} .

$P(|\bar{X}-\mu| \geq \varepsilon) \le \frac{1}{4n\varepsilon^2}.$

n

$n$

X_{i}

$X_i$

\frac{1}{4}

$\tfrac{1}{4}$

P (| \bar{X} - μ | \geq \frac{ε}{2 \sqrt{n}}) \leq 2 SF (ε) + \frac{8}{\sqrt{n}},

$P(|\bar X - \mu| \geq \tfrac{\varepsilon}{2\sqrt{n}}) \le 2\, \text{SF}(\varepsilon) + \tfrac{8}{\sqrt{n}},$

SF

$\text{SF}$

ε = 16

$\varepsilon = 16$

SF (16) \approx e^{- 58}

$\text{SF}(16) \approx e^{-58}$

P (| \bar{X} - μ | \geq \frac{8}{\sqrt{n}}) \leq \frac{8}{\sqrt{n}} + 0, (*)

$P(|\bar X - \mu| \geq \tfrac{8}{\sqrt{n}}) \le \tfrac{8}{\sqrt{n}} + 0, \qquad (*)$

P (| \bar{X} - μ | \geq \frac{8}{\sqrt{n}}) \leq \frac{1}{256} .

$P(|\bar X - \mu| \geq \tfrac{8}{\sqrt{n}}) \le \tfrac{1}{256}.$

(*)

$(*)$

Vergleichen der Längen der Konfidenzintervalle

$(1-\alpha)$ $\ell_Z(\alpha, n)$ $\ell_C(\alpha, n)$ $\sigma = \tfrac{1}{2}$ $\ell_C(\alpha, n)$ $\ell_Z(\alpha, n)$ $n$ $n$

ℓ_{C} (α, n) = κ (α) ℓ_{Z} (α, n), κ (α) = {(ISF (\frac{α}{2}) \sqrt{α})}^{- 1},

$\ell_C(\alpha, n) = \kappa(\alpha) \ell_Z(\alpha, n), \quad \kappa(\alpha) = \left(\text{ISF}\left(\tfrac{\alpha}{2}\right) \sqrt{\alpha}\right)^{-1},$

ISF

$\text{ISF}$

$\hskip 1in$

$95\%$ $2.3$

Mit Höffding gebunden

P (| \bar{X} - μ | \geq ε) \leq 2 e^{- 2 n ε^{2}} .

$P(|\bar X - \mu| \geq \varepsilon) \leq 2e^{-2n \varepsilon^2}.$

(1 - α)

$(1-\alpha)$

μ

$\mu$

(\bar{X} - ε, \bar{X} + ε), ε = \sqrt{\frac{- \ln \frac{α}{2}}{2 n}},

$(\bar X - \varepsilon, \bar X + \varepsilon), \quad \varepsilon = \sqrt{\frac{-\ln \tfrac{\alpha}{2}}{2n}},$

ℓ_{H} (α, n) = 2 ε

$\ell_H (\alpha, n) = 2\varepsilon$

ℓ_{C}

$\ell_C$

σ = 1 / 2

$\sigma = 1/2$

ℓ_{Z}

$\ell_Z$

ℓ_{H}

$\ell_H$

α = 0.05

$\alpha = 0.05$

$\hskip 0.5in$

— Olivier
quelle

P (\bar{X} - μ \geq ε) \leq e^{- 2 n ε^{2}}

$P(\bar{X}-\mu \ge \varepsilon) \le e^{-2 n \varepsilon^2}$

P (| \bar{X} - μ | \geq ε) \leq 2 e^{- 2 n ε^{2}};

$P(|\bar{X}-\mu| \ge \varepsilon) \le 2 e^{-2 n \varepsilon^2} ;$

α

$\alpha$

1 - α,

$1-\alpha,$

Und was noch wichtiger ist: Ich fand Ihr Ergebnis unglaublich, also habe ich versucht, es in R zu replizieren, und ich habe ein völlig entgegengesetztes Ergebnis erhalten: Die normale Approximation gibt mir kleinere Konfidenzintervalle! Dies ist der Code, den ich verwendet habe:

curve(sqrt(-log(.025)/2/x), to= 100, col= 'red', xlab= 'n', ylab= 'half interval') #Hoeffding ; curve(qnorm(.975, 0, .5/sqrt(x)), to= 100, add= T, col= 'darkgreen') #normal approximation

— Carlo

0

Beginnen wir mit der Zahl 30: Es ist, wie jeder sagen wird, eine Faustregel. aber wie können wir eine Nummer finden, die besser zu unseren Daten passt? Eigentlich ist es hauptsächlich eine Frage der Schiefe: Selbst die seltsamste Verteilung konvergiert schnell zur Normalität, wenn es sich um symmetrische und kontinuierliche, schiefe Daten handelt, die viel langsamer sind. Ich erinnere mich, dass ich gelernt habe, dass eine Binomialverteilung richtig an die Norm angenähert werden kann, wenn ihre Varianz größer als 9 ist. Für dieses Beispiel ist zu berücksichtigen, dass die diskrete Verteilung auch das Problem hat, dass sie große Zahlen benötigt, um die Kontinuität zu simulieren, aber denken Sie daran: Eine simmetrische Binomialverteilung erreicht diese Varianz mit n = 36, wenn stattdessen p = 0,1, muss n gehen bis zu 100 (variable Transformation würde jedoch viel helfen)!

Wenn Sie stattdessen nur die Varianz verwenden möchten, indem Sie die Gaußsche Näherung fallen lassen und die Vysochanskij-Petunin-Ungleichung über die Chebichev-Ungleichung betrachten, ist die Annahme einer unimodalen Verteilung des Mittelwerts erforderlich als 2.

— carlo
quelle

Könnten Sie eine Referenz für "Vysochanskij-Petunin-Ungleichung" hinzufügen? Habe nie davon gehört!

— kjetil b halvorsen

wikipedia docet

— carlo

Können Sie die Konvergenzrate in Bezug auf die Schiefe ausdrücken? Warum ist eine Stichprobengröße von 2 genug für Unimodalität? Wie ist die Vysochanskij-Petunin-Ungleichung eine Verbesserung gegenüber Chebychev, wenn Sie die Stichprobengröße verdoppeln oder verdreifachen müssen, damit sie angewendet wird?

— Olivier

Ich habe eine schnelle Google-Suche durchgeführt und herausgefunden, dass die Binomialverteilung tatsächlich oft verwendet wird, um die unterschiedlichen Anforderungen an die Stichprobengröße für verzerrte Daten zu erklären. Ich habe sie jedoch nicht gefunden, und ich denke, es gibt keine akzeptierte Konvergenzrate in Bezug auf die Verzerrung ".

— Carlo

Die Vysochanskij-Petunin-Ungleichung ist effizienter als die Chebychev-Ungleichung, daher wird überhaupt keine größere Stichprobe benötigt, es gibt jedoch einige Verwendungsbeschränkungen: Zunächst muss eine kontinuierliche Verteilung vorliegen, dann muss sie unimodal sein (keine lokalen Modi) sind erlaubt). Es mag seltsam erscheinen, die Normalitätsannahme fallen zu lassen, um eine andere zu übernehmen. Wenn Ihre Daten jedoch nicht diskret sind, sollte der Stichprobenmittelwert die lokalen Modi auch bei sehr kleinen Stichproben eliminieren. Fakt ist, dass der Mittelwert eine starke Glockenverteilung hat und auch wenn er schief sein kann oder fette Schwänze hat, es schnell nur einen Modus gibt.

— Carlo