Asymptotische Verteilung der Probenvarianz einer nicht normalen Probe

Dies ist eine allgemeinere Behandlung des Problems, das durch diese Frage aufgeworfen wird . Nachdem wir die asymptotische Verteilung der Stichprobenvarianz abgeleitet haben, können wir die Delta-Methode anwenden, um die entsprechende Verteilung für die Standardabweichung zu erhalten.

Lassen Sie eine Stichprobe der Größe von iid nicht normalen Zufallsvariablen { X i } ,$n$$\{X_i\},\;\; i=1,...,n$ , mit Mittelwertund Varianz. Stellen Sie den Stichprobenmittelwert und die Stichprobenvarianz als $\mu$$\sigma^2$

$$\bar x = \frac 1n \sum_{i=1}^nX_i,\;\;\; s^2 = \frac 1{n-1} \sum_{i=1}^n(X_i-\bar x)^2$$

Wir wissen, dass

$$E(s^2) = \sigma^2, \;\;\; \operatorname {Var}(s^2) = \frac{1}{n} \left(\mu_4 - \frac{n-3}{n-1}\sigma^4\right)$$

wo , und wir beschränken unsere Aufmerksamkeit auf Verteilungen, für die welche Momente existieren und endlich sein müssen, existieren und endlich sind.$\mu_4 = E(X_i -\mu)^4$

Hält es das?

$$\sqrt n(s^2 - \sigma^2) \rightarrow_d N\left(0,\mu_4 - \sigma^4\right)\;\; ?$$

Um Abhängigkeiten zu umgehen, die sich bei der Betrachtung der Stichprobenvarianz ergeben, schreiben wir

$$(n-1)s^2 = \sum_{i=1}^n\Big((X_i-\mu) -(\bar x-\mu)\Big)^2$$

$$=\sum_{i=1}^n\Big(X_i-\mu\Big)^2-2\sum_{i=1}^n\Big((X_i-\mu)(\bar x-\mu)\Big)+\sum_{i=1}^n\Big(\bar x-\mu\Big)^2$$

und nach einer kleinen Manipulation,

$$=\sum_{i=1}^n\Big(X_i-\mu\Big)^2 - n\Big(\bar x-\mu\Big)^2$$

Deshalb

$$\sqrt n(s^2 - \sigma^2) = \frac {\sqrt n}{n-1}\sum_{i=1}^n\Big(X_i-\mu\Big)^2 -\sqrt n \sigma^2- \frac {\sqrt n}{n-1}n\Big(\bar x-\mu\Big)^2$$

Manipulieren,

$$\sqrt n(s^2 - \sigma^2) = \frac {\sqrt n}{n-1}\sum_{i=1}^n\Big(X_i-\mu\Big)^2 -\sqrt n \frac {n-1}{n-1}\sigma^2- \frac {n}{n-1}\sqrt n\Big(\bar x-\mu\Big)^2$$

$$=\frac {n\sqrt n}{n-1}\frac 1n\sum_{i=1}^n\Big(X_i-\mu\Big)^2 -\sqrt n \frac {n-1}{n-1}\sigma^2- \frac {n}{n-1}\sqrt n\Big(\bar x-\mu\Big)^2$$

$$=\frac {n}{n-1}\left[\sqrt n\left(\frac 1n\sum_{i=1}^n\Big(X_i-\mu\Big)^2 -\sigma^2\right)\right] + \frac {\sqrt n}{n-1}\sigma^2 -\frac {n}{n-1}\sqrt n\Big(\bar x-\mu\Big)^2$$

Der Term wird asymptotisch zu Eins. Der Begriff $n/(n-1)$ist determinitisch und geht alsn→∞auf Null.$\frac {\sqrt n}{n-1}\sigma^2$$n \rightarrow \infty$

Wir haben auch . Die erste Komponente konvergiert in der Verteilung gegen eine Normale, die zweite konvergiert in der Wahrscheinlichkeit gegen Null. Dann konvergiert das Produkt nach dem Satz von Slutsky mit der Wahrscheinlichkeit gegen Null,$\sqrt n\Big(\bar x-\mu\Big)^2 = \left[\sqrt n\Big(\bar x-\mu\Big)\right]\cdot \Big(\bar x-\mu\Big)$

$$\sqrt n\Big(\bar x-\mu\Big)^2\xrightarrow{p} 0$$

Wir sind mit dem Begriff verlassen

$$\left[\sqrt n\left(\frac 1n\sum_{i=1}^n\Big(X_i-\mu\Big)^2 -\sigma^2\right)\right]$$

Anhand eines tödlichen Beispiels von @whuber in einem Kommentar zu dieser Antwort möchten wir sicherstellen , dass nicht konstant ist. Whuber darauf hingewiesen , dass , wenn X i ein Bernoulli ( 1 / 2 ) , dann diese Größe eine Konstante ist. Ausgenommen also Variablen, für die dies der Fall ist (vielleicht andere dichotome, nicht nur 0 / 1- Binärvariablen?), Für den Rest haben wir$(X_i-\mu)^2$$X_i$$(1/2)$$0/1$

$$\mathrm{E}\Big(X_i-\mu\Big)^2 = \sigma^2,\;\; \operatorname {Var}\left[\Big(X_i-\mu\Big)^2\right] = \mu_4 - \sigma^4$$

und so ist der untersuchte Begriff ein üblicher Gegenstand des klassischen zentralen Grenzwertsatzes, und

$$\sqrt n(s^2 - \sigma^2) \xrightarrow{d} N\left(0,\mu_4 - \sigma^4\right)$$

Hinweis: Das obige Ergebnis gilt natürlich auch für normalverteilte Stichproben. In diesem letzten Fall steht jedoch auch ein Chi-Quadrat-Verteilungsergebnis mit endlichen Stichproben zur Verfügung.

Sie haben bereits eine detaillierte Antwort auf Ihre Frage, aber lassen Sie mich eine andere dazu anbieten. Tatsächlich ist ein kürzerer Beweis aufgrund der Tatsache möglich, dass die Verteilung von

$$S^2 = \frac{1}{n-1} \sum_{i=1}^n \left(X_i - \bar{X} \right)^2$$

does not depend on $E(X) = \xi$, say. Asymptotically, it also does not matter whether we change the factor $\frac{1}{n-1}$ to $\frac{1}{n}$, which I will do for convenience. We then have

$$\sqrt{n} \left(S^2 - \sigma^2 \right) = \sqrt{n} \left[ \frac{1}{n} \sum_{i=1}^n X_i^2 - \bar{X}^2 - \sigma^2 \right]$$

And now we assume without loss of generality that $\xi = 0$ and we notice that

$$\sqrt{n} \bar{X}^2 = \frac{1}{\sqrt{n}} \left( \sqrt{n} \bar{X} \right)^2$$

has probability limit zero, since the second term is bounded in probability (by the CLT and the continuous mapping theorem), i.e. it is $O_p(1)$. The asymptotic result now follows from Slutzky's theorem and the CLT, since

$$\sqrt{n} \left[ \frac{1}{n} \sum X_i^2 - \sigma^2 \right] \xrightarrow{D} \mathcal{N} \left(0, \tau^2 \right)$$

where $\tau^2 = Var \left\{ X^2\right\} = \mathbb{E} \left(X^4 \right) - \left( \mathbb{E} \left(X^2\right) \right)^2$. And that will do it.

Die hervorragenden Antworten von Alecos und JohnK ergeben bereits das gewünschte Ergebnis, aber ich möchte noch etwas zur asymptotischen Verteilung der Stichprobenvarianz sagen.

Es ist üblich, asymptotische Ergebnisse unter Verwendung der Normalverteilung darzustellen, und dies ist nützlich, um die Theoreme zu formulieren. Praktisch gesehen besteht der Zweck einer asymptotischen Verteilung für eine Stichprobenstatistik darin, dass Sie eine ungefähre Verteilung erhalten, wenn$n$ist groß. Sie können eine Vielzahl von Optionen für Ihre Annäherung an große Stichproben auswählen, da viele Verteilungen dieselbe asymptotische Form haben. Im Falle der Stichprobenvarianz ist meiner Meinung nach eine hervorragende Approximationsverteilung für groß$n$ wird gegeben durch:

$$\frac{S_n^2}{\sigma^2} \sim \frac{\text{Chi-Sq}(\text{df} = DF_n)}{DF_n},$$

where $DF_n \equiv 2 / \mathbb{V}(S_n^2 / \sigma^2) = 2n / ( \kappa - (n-3)/(n-1))$ and $\kappa = \mu_4 / \sigma^4$ is the kurtosis parameter. This distribution is asymptotically equivalent to the normal approximation derived from the theorem (the chi-squared distribution converges to normal as the degrees-of-freedom tends to infinity). Despite this equivalence, this approximation has various other properties you would like your approximating distribution to have:

• Unlike the normal approximation derived directly from the theorem, this distribution has the correct support for the statistic of interest. The sample variance is non-negative, and this distribution is has non-negative support.

• In the case where the underlying values are normally distributed, this approximation is actually the exact sampling distribution. (In this case we have $\kappa = 3$ which gives $DF_n = n-1$, which is the standard form used in most texts.) It therefore constitutes a result that is exact in an important special case, while still being a reasonable approximation in more general cases.

---

Derivation of the above result: Approximate distributional results for the sample mean and variance are discussed at length in O'Neill (2014), and this paper provides derivations of many results, including the present approximating distribution.

This derivation starts from the limiting result in the question:

$$\sqrt{n} (S_n^2 - \sigma^2) \sim \text{N}(0, \sigma^4 (\kappa - 1)).$$

Re-arranging this result we obtain the approximation:

$$\frac{S_n^2}{\sigma^2} \sim \text{N} \Big( 1, \frac{\kappa - 1}{n} \Big).$$

Da die Chi-Quadrat-Verteilung asymptotisch normal ist, wie $DF \rightarrow \infty$ wir haben:

$$\frac{\text{Chi-Sq}(DF)}{DF} \rightarrow \frac{1}{DF} \text{N} ( DF, 2DF ) = \text{N} \Big( 1, \frac{2}{DF} \Big).$$

Nehmen $DF_n \equiv 2 / \mathbb{V}(S_n^2 / \sigma^2)$ (was die obige Formel ergibt) ergibt $DF_n \rightarrow 2n / (\kappa - 1)$ Dies stellt sicher, dass die Chi-Quadrat-Verteilung asymptotisch der normalen Approximation aus dem Grenzwertsatz entspricht.