Zentraler Grenzwertsatz gegen Gesetz großer Zahlen

14

Der zentrale Grenzwertsatz besagt, dass der Mittelwert der iid-Variablen $N$ gegen unendlich geht, normalverteilt wird.

Dies wirft zwei Fragen auf:

Können wir daraus das Gesetz der großen Zahlen ableiten? Wenn das Gesetz der großen Zahlen besagt , dass der Mittelwert einer Probe einer Zufallsvariablen der Werte die wahre Mittelwert gleich $\mu$ wie $N$ bis ins Unendliche geht, dann scheint es , noch stärker zu sagen , dass (wie der zentrale Grenzwert sagt) , dass der Wert wird $\mathcal N(\mu, \sigma)$ wobei $\sigma$ die Standardabweichung ist. Ist es gerecht zu sagen, dass die zentrale Grenze das Gesetz der großen Zahlen impliziert?
Gilt der zentrale Grenzwertsatz für die lineare Kombination von Variablen?

probability central-limit-theorem law-of-large-numbers

— user9097
quelle

5

Ihre Behauptung, dass "der zentrale Grenzwertsatz besagt, dass der Mittelwert der iid-Variablen, wenn

N

$N$ gegen unendlich geht, normalverteilt wird", ist falsch. Siehe meine Antwort auf diese kürzlich gestellte Frage , die ähnliche Fragen aufwirft. Eine andere Antwort auf diese Frage wurde veröffentlicht, aber bald danach gelöscht, und die Diskussion nach dieser Antwort, die nun ebenfalls weg ist, erörterte auch diese Probleme.

— Dilip Sarwate

1

Warum ist die Konvergenz des Stichprobenmittelwerts zum Populationsmittelwert

ein schwächeres Ergebnis als die Konvergenz des Stichprobenmittelwerts zu einer Stichprobe aus einer

-Verteilung?

μ

$\mu$

N (μ, σ)

$\mathcal N(\mu, \sigma)$

— Dilip Sarwate

@DilipSarwate Danke für die Flagge, aber dein Kommentar ist IMO genug, um Missverständnisse in der Frage aufzudecken und vernünftige Antworten sind erschienen.

10

Das OP sagt

Der zentrale Grenzwertsatz besagt, dass der Mittelwert der iid-Variablen, wenn N gegen unendlich geht, normalverteilt wird.

Ich werde dies so verstehen, dass es die Überzeugung des OP ist, dass für iid Zufallsvariablen mit mittlerem und Standardabweichung die kumulative Verteilungsfunktion von $X_i$ $\mu$ $\sigma$ $F_{Z_n}(a)$ konvergiert zur kumulativen Verteilungsfunktion von, einer normalen Zufallsvariablen mit mittleremund Standardabweichung. Oder das OP glaubt, dass geringfügige Umordnungen dieser Formel, z. B. die Verteilung vongegen die Verteilung vonoder die Verteilung vonkonvergieren

Z_{n} = \frac{1}{n} \sum_{i = 1}^{n} X_{i}

$Z_n = \frac{1}{n} \sum_{i=1}^n X_i$

N (μ, σ)

$\mathcal N(\mu,\sigma)$

μ

$\mu$

σ

$\sigma$

Z_{n} - μ

$Z_n - \mu$

N (0, σ)

$\mathcal N(0,\sigma)$

(Z_{n} - μ) / σ

$(Z_n - \mu)/\sigma$ konvergiert zur Verteilung von

, der normalen Zufallsvariablen. Beachten Sie als Beispiel, dass diese Anweisungen implizieren, dass

N (0, 1)

$\mathcal N(0,1)$

P {| Z_{n} - μ | > σ} = 1 - F_{Z_{n}} (μ + σ) + F_{Z_{n}} ((μ + σ)^{-}) \to 1 - Φ (1) + Φ (- 1) \approx 0.32

$P\{|Z_n - \mu| > \sigma\} = 1 - F_{Z_n}(\mu + \sigma) + F_{Z_n}((\mu + \sigma)^-) \to 1-\Phi(1)+\Phi(-1) \approx 0.32$ als

n \to \infty

$n \to \infty$ .

Das OP fährt fort zu sagen

Dies wirft zwei Fragen auf:

Können wir daraus das Gesetz der großen Zahlen ableiten? Wenn das Gesetz der großen Zahlen besagt, dass der Mittelwert einer Stichprobe der Werte einer Zufallsvariablen gleich dem wahren Mittelwert μ ist, wenn N gegen Unendlich geht, dann scheint es noch stärker zu sagen, dass der Wert N wird (wie die zentrale Grenze besagt). μ, σ) wobei σ die Standardabweichung ist.

Das schwache Gesetz der großen Zahlen besagt, dass für iid Zufallsvariablen mit dem endlichen Mittel , gegeben mit , $X_i$ $\mu$ $\epsilon > 0$

P {| Z_{n} - μ | > ϵ} \to 0 as n \to \infty .

$P\{|Z_n - \mu| > \epsilon\} \to 0 ~~ \text{as}~ n \to \infty.$ Es ist zu beachten, dass nicht angenommen werden muss, dass die Standardabweichung endlich ist.

Also, um die Frage des OP zu beantworten,

Der vom OP angegebene zentrale Grenzwertsatz impliziert nicht das schwache Gesetz der großen Zahlen. Als sagt die OP-Version des zentralen Grenzwertsatzes, dass während das schwache Gesetz besagt, dass $n \to \infty$ $P\{|Z_n-\mu| > \sigma\} \to 0.317\cdots$ $P\{|Z_n-\mu| > \sigma\} \to 0$
Von einem richtigen Aussage des zentralen Grenzwertsatzes kann man bestenfalls eine eingeschränkte Form des schwachen Gesetzes der großen Zahlen ableiten, das für Zufallsvariablen mit endlichem Mittelwert und Standardabweichung gilt. Das schwache Gesetz der großen Zahlen gilt aber auch für Zufallsvariablen wie Pareto-Zufallsvariablen mit endlichen Mitteln, aber unendlicher Standardabweichung.
Ich verstehe nicht, warum die Aussage, dass der Stichprobenmittelwert gegen eine normale Zufallsvariable mit einer Standardabweichung ungleich Null konvergiert, eine stärkere Aussage ist als die Aussage, dass der Stichprobenmittelwert gegen den Populationsmittelwert konvergiert, der eine Konstante ist (oder eine Zufallsvariable mit einer Standardabweichung null, wenn du magst).

— Dilip Sarwate
quelle

Ich frage mich, was die Person, die meine Antwort abgelehnt hat, in dem, was ich sagte, als anstößig oder falsch empfunden hat.

— Dilip Sarwate

7

$\bar X_n$ $n$ $\bar X_n$ $\bar X_{n+1}$ , sagen. Nein, Konvergenz in der Verteilung impliziert nicht das Gesetz der großen Zahlen, es sei denn, Sie haben einen gemeinsamen Wahrscheinlichkeitsraum für alle Variablen.

— StasK
quelle

(+1) Was Sie sagen, ist wahr und ein sehr wichtiger Punkt. Das dreieckige Array ermöglicht es den Variablen in jeder "Reihe", mit anderen Wahrscheinlichkeitsräumen als in vorherigen Reihen zu leben. Wenn wir andererseits a priori sagen, dass wir eine Folge von Zufallsvariablen betrachten, dann müssen sie implizit auf einem gemeinsamen Grundraum existieren, damit der Begriff der Unabhängigkeit viel Sinn ergibt.

— Kardinal

@cardinal: Wenn ich also richtig verstehe, ist es in dem "einfachen" Fall, in dem alle im selben Raum definiert sind, so, dass die Zentralität das Gesetz der großen Zahlen impliziert? oder Nein?

— User9097

@ user9097 Da wir uns jetzt mit Feinheiten befassen, nach welchem Gesetz der großen Zahlen wird gefragt? Das schwache oder das starke Gesetz?

— Dilip Sarwate

Dieser Punkt gilt nur für das starke Gesetz großer Zahlen , nicht für das schwache Gesetz

— kjetil b halvorsen

4

$\sqrt{n}(\bar{X}_n-EX)$ $\mathcal N(0, Var(X))$ $\bar{X}$ $n$ $X$ .

$X$ $Y$

\sqrt{n} (\frac{1}{n} \sum_{j = 1}^{n} (a X_{j} + Y_{j}) - E (a X + Y)) \to N (0, V a r (a X + Y))

$\sqrt{n}(\frac{1}{n}\sum_{j=1}^n(aX_j+Y_j) - E(aX+Y)) \to \mathcal N(0, Var(aX+Y))$ or

\sqrt{n} a ({\bar{X}}_{n} - E X) + \sqrt{n} ({\bar{Y}}_{n} - E Y) \to N (0, a^{2} V a r (X) + V a r (Y)) .

$\sqrt{n}a(\bar{X}_n- EX)+\sqrt{n}(\bar{Y}_n -EY) \to \mathcal N(0, a^2Var(X)+Var(Y)).$

In other words, a linear combination of random variables wont converge to a linear combination of normals under the CLT, just one normal. This makes sense because a linear combination of random variables is just a different random variable that CLT can be applied to directly.

— Daniel Johnson
quelle

1

This is a good start to an answer. Here are some comments: A linear combination of (joint) normals is normal, soo, I'm not sure what your comment in that regard was intended to mean. At any rate, I suspect the OP was not thinking about linear combinations of the form you consider. Observing that

{\bar{X}}_{n} = \sum_{i = 1}^{n} w_{n i} X_{i}

$\bar X_n = \sum_{i=1}^n w_{ni} X_i$ where

w_{n i} = 1 / n

$w_{ni} = 1/n$ for each

i = 1, \dots, n

$i = 1,\ldots,n$ , a natural question one might ask is what happens when we replace these "uniform" weights with some other (more arbitrary) ones. When do we still get a CLT? Lindeberg's CLT can be used to get at this question.

— cardinal

I think with strict conditions my result will still say something about

\sum_{j = 1}^{n} w_{n j} X_{j}

$\sum^n_{j=1}w_{nj}X_j$ . Lets first define these conditions and then consider how to weaken them. Lets take

w_{n j} = w_{j} / n

$w_{nj} = w_{j}/n$ and

w_{j}

$w_j$ to be a single, infinite sequence of non-negative reals. If the number of distinct

w_{j}

$w_{j}$ is finite and each appears infinitely often in the sequence, my result should hold as each

w_{j} X

$w_jX$ defines a random variable and this fits into the 'linear combination' framework I gave above. Then a good question would be if we could allow the number of distinct

w

$w$ scale with

n

$n$ .

— Daniel Johnson

1

This is a good comment, and a nice idea, however I believe it would need some modification to work. Assume wlog that

E X = 0

$\mathbb E X = 0$ . Construct your

w_{j}

$w_j$ as follows. Let

w_{1} = 1

$w_1 = 1$ ,

w_{2} = 0

$w_2 = 0$ . Now, define

w_{j}

$w_j$ inductively as follows: Set

w_{j} = 0

$w_j = 0$ until

\sum_{i = 1}^{j} w_{i} / j \leq 1 / 4

$\sum_{i=1}^j w_i /j \leq 1/4$ . Then append ones until

\sum_{i = 1}^{j} w_{i} / j \geq 1 / 2

$\sum_{i=1}^j w_i /j \geq 1/2$ . Append zeros again, then ones. Repeat ad infinitum. Now,

0

$0$ and

1

$1$ both occur an infinite number of times, but the variance of the rescaled mean oscillates between

1 / 2

$1/2$ and

1 / 4

$1/4$ (roughly). So, your stated sequence cannot converge in distribution.

— cardinal

(Note: There is nothing special about the choice of

0

$0$ and

1

$1$ , here. Also, strictly speaking the procedure you describe in the comment does not really fit within the linear-combination framework of your answer.)

— cardinal