Wenn der zentrale Grenzwertsatz und das Gesetz der großen Zahlen nicht übereinstimmen


19

Dies ist im Wesentlichen eine Replikation einer Frage, die ich bei math.se gefunden habe und die nicht die Antworten bekam, auf die ich gehofft hatte.

Sei eine Folge von unabhängigen, identisch verteilten Zufallsvariablen mit und .{Xi}iNE[Xi]=1V[Xi]=1

Betrachten Sie die Bewertung von

limnP(1ni=1nXin)

Dieser Ausdruck muss manipuliert werden, da beide Seiten des Ungleichungsereignisses zur Unendlichkeit tendieren.

A) VERSUCHE SUBTRAKTION

Subtrahieren Sie n von beiden Seiten, bevor Sie die einschränkende Aussage berücksichtigen :

limnP(1ni=1nXinnn)=limnP(1ni=1n(Xi1)0)=Φ(0)=12

die letzte Gleichheit durch die CLT, wobei Φ() die Standardnormalverteilungsfunktion ist.

B) MULTIPLIKATION VERSUCHEN

Multiplizieren Sie beide Seiten mit 1/n

limnP(1n1ni=1nXi1nn)=limnP(1ni=1nXi1)

=limnP(X¯n1)=limnFX¯n(1)=1

Dabei ist FX¯n() die Verteilungsfunktion des Stichprobenmittelwerts X¯n , der durch die LLN in der Wahrscheinlichkeit (und damit auch in der Verteilung) zur Konstanten 1 konvergiert 1, daher die letzte Gleichheit.

So erhalten wir widersprüchliche Ergebnisse. Welches ist das richtige? Und warum ist der andere falsch?


1
@JuhoKokkala Sicher, hier ist es, math.stackexchange.com/q/2830304/87400 Ignorieren Sie einfach den Fehler des OP.
Alecos Papadopoulos

2
Ich denke , das Problem in der zweiten Anweisung ist die LLN Aufruf
Glen_b -Reinstate Monica

3
Ich bin Ihnen bis zur endgültigen Gleichstellung gefolgt. Es ist eindeutig falsch, weil wir erwarten würden, dass ungefähr für großes und daher seine Grenze nicht gleich sein sollte Was ist die beabsichtigte Rechtfertigung dafür? Es ist nicht die Aussage einer Version eines Gesetzes von großer Anzahl, die ich kenne. 1 / 2 n 1.P(X¯n1)1/2n1.
Whuber

1
@whuber Vermutlich konzentriert sich alle Wahrscheinlichkeit für den Stichprobenmittelwert auf den Wert . Wenn dies falsch ist, ist es meines Erachtens wichtig, dass der Fehler in einer Antwort dargelegt wird. Das ist der Zweck dieser Frage. 1
Alecos Papadopoulos

2
Alecos, es geht mir nicht darum, ob der letzte Schritt falsch ist. Es geht um Ihre Gründe dafür. Geht es doch um diese Frage? Ich habe immer noch nichts von Ihnen gelesen und würde sogar zögern, zu erraten, was das sein könnte. Obwohl Sie sich auf ein "LLN" beziehen, liegt die Lösung Ihres Problems wahrscheinlich darin, genau zu beschreiben, was Sie unter "LLN" verstehen, um es zu behaupten.
Whuber

Antworten:


15

Der Fehler liegt wahrscheinlich in der folgenden Tatsache: Konvergenz in der Verteilung setzt implizit voraus, dass an Punkten der Kontinuität von zu konvergiert . Da es sich bei der Grenzverteilung um eine konstante Zufallsvariable handelt, liegt eine Sprungdiskontinuität bei , so dass nicht auf eine Konvergenz der CDF gegen . F ( x ) F ( x ) x = 1 F ( x ) = 1Fn(x)F(x) F(x)x=1F(x)=1


1
Die Art und Weise, wie wir Konvergenz in der Verteilung definieren, schließt die Möglichkeit der Konvergenz an den Punkten der Diskontinuität nicht aus - es ist einfach nicht erforderlich .
Alecos Papadopoulos

1
Aber wenn die Konvergenz in der Verteilung nicht erfordert, dass zu konvergiert , worauf basiert dann die letzte Gleichheit in der Frage? F ( 1 )Fn(1)F(1)
Juho Kokkala,

1
@Juho Es basiert nicht auf irgendetwas - das ist der springende Punkt. Es gibt keinen Satz, der es erlaubt, die letzte Gleichung in der Frage aufzustellen.
Whuber

1
@ AlecosPapadopoulos: Ich habe nie gesagt, dass es die Möglichkeit nicht ausschließt. Ich sage implizit, dass Sie die letzte Gleichheit rechtfertigen müssen, die über die Konvergenz der Verteilung hinausgeht. Wenn zum Beispiel Bernoulli ist, dann wäre es wahr. Xn
Alex R.

11

Für iid Zufallsvariablen mit definiere Nun spricht der CLT , dass für jede feste reelle Zahl , . Das OP wendet die CLT an, um auszuwerten E [ X i ] = var ( X i ) = 1 Z nXiE[Xi]=var(Xi)=1zlimnFZn(z)=Φ(z-1)limnP(Zn1

Zn=1ni=1nXi,Yn=1ni=1nXi.
zlimnFZn(z)=Φ(z1)
limnP(Zn1n)=Φ(0)=12.

Wie in den anderen Antworten sowie in mehreren Kommentaren zur Frage des OP , ist die Bewertung von das OP verdächtig. Betrachten Sie den Sonderfall, wenn die iid diskrete Zufallsvariablen sind, die mit gleicher Wahrscheinlichkeit die Werte und annehmen . Nun auf nehmen können alle geradzahlige ganzzahlige Werte in und so , wenn ungerade ist , kann nicht annehmen Wert und somit kann nicht den Wert annehmenX i 0 2 1limnP(Yn1)Xi02 n i = 1 Xi[0,2n]n n i = 1 XinYn=112i=1nXi[0,2n]ni=1nXin1Yn1P(Yn1)=FYn(1)1Yn=1ni=1nXi 1. Da die Verteilung von um symmetrisch ist , haben wir außerdem, dass den Wert wenn ungerade ist. Somit enthält die Folge von Zahlen die Teilfolge in denen alle Terme den Wert . Auf der anderen Seite ist die Subsequenz wird konvergierenden zu . Daher,Yn1P(Yn1)=FYn(1)12P ( Y 11 ) , P ( Y 21 ) , , P ( Y n1 ) , P ( Y 11 ) , P ( Y 31 ) , , P ( Y 2 k - 11 ) , 1n

P(Y11),P(Y21),,P(Yn1),
P(Y11),P(Y31),,P(Y2k11),
P(Y21),P(Y41),,P(Y2k1),12
P(Y21),P(Y41),,P(Y2k1),
lim n P ( Y n1 ) P ( Y n1 )1limnP(Yn1) existiert nicht und Konvergenzansprüche von gegen 1 müssen mit großem Argwohn betrachtet werden.P(Yn1)

8

Ihr erstes Ergebnis ist das richtige. Ihr Fehler tritt im zweiten Teil der folgenden fehlerhaften Aussage auf:

limnFX¯n(1)=1.

Diese Aussage ist falsch (die rechte Seite sollte ) und folgt nicht aus dem Gesetz der großen Zahlen, wie es behauptet wird. Das schwache Gesetz der großen Zahlen (auf das Sie sich berufen) besagt Folgendes:12

limnP(|X¯n1|ε)=1for all ε>0.

Für alle die Bedingung umfasst einige Werte mit und einige Werte mit . Daher folgt aus der LLN nicht, dass .| ˉ X n -ε>0|X¯n1|εX¯n1X¯n>1limnP(X¯n1)=1


1
Das (in der Tat fehlerhafte) Ergebnis ergibt sich aus der Implikation "Konvergenz der Wahrscheinlichkeit impliziert Konvergenz der Verteilung". Die Frage besagt nicht, dass die Behauptung direkt vom LLN stammt.
Alecos Papadopoulos

@AlecosPapadopoulos: Konvergenz in Wahrscheinlichkeit tut Konvergenz in Verteilung bedeuten. Auch hier ist eine Konvergenz der Verteilung nur an Punkten der Kontinuität erforderlich. Vielleicht haben Sie gemeint, dass Konvergenz der Wahrscheinlichkeit keine punktweise Konvergenz der Verteilung impliziert .
Alex R.

@AlexR. Ich bin nicht sicher, wo Ihr Einwand liegt. Ich glaube, dass dieses Problem in meiner eigenen Antwort behandelt wird.
Alecos Papadopoulos

3

Konvergenz der Wahrscheinlichkeit impliziert Konvergenz der Verteilung. Aber ... welche Distribution? Wenn die Grenzverteilung eine Sprungdiskontinuität aufweist, werden die Grenzen mehrdeutig (da an der Diskontinuität mehrere Werte möglich sind).

wobei die Verteilungsfunktion des Stichprobenmittelwertes , der durch die LLN in der Wahrscheinlichkeit (und damit auch in der Verteilung) gegen die Konstante konvergiert ,FX¯n()X¯n1

Dies ist nicht richtig und es ist auch leicht zu zeigen, dass es nicht richtig sein kann (anders als bei der Meinungsverschiedenheit zwischen CLT und LLN). Die Grenzverteilung (die als Grenze für eine Folge normalverteilter Variablen angesehen werden kann) sollte sein:

FX¯(x)={0for x<10.5for x=11for x>1

Für diese Funktion haben Sie für jedes und jedes die Differenz für ausreichend große . Dies würde fehlschlagen, wenn anstelle vonϵ>0x|FX¯n(x)FX¯(x)|<ϵnFX¯(1)=1FX¯(1)=0.5


Grenze einer Normalverteilung

Es kann hilfreich sein, die Summe, die zum Aufrufen des Gesetzes über große Zahlen verwendet wird, explizit aufzuschreiben.

X¯n=1ni=1nXiN(1,1n)

Die Grenze für entspricht tatsächlich der Dirac-Delta-Funktion, wenn sie als Grenze der Normalverteilung dargestellt wird, wobei die Varianz gegen Null geht.nX^n

Anhand dieses Ausdrucks ist es einfacher zu erkennen, was unter der Haube vor sich geht, als die vorgefertigten Gesetze des CLT und des LLN zu verwenden, die die Argumentation hinter den Gesetzen verdecken.


Konvergenz der Wahrscheinlichkeit

Das Gesetz der großen Zahlen gibt Ihnen "Konvergenz in der Wahrscheinlichkeit"

limnP(|X¯n1|>ϵ)=0

mitϵ>0

Für den zentralen Grenzwertsatz könnte eine äquivalente Aussage getroffen werden mit limnP(|1n(Xi1)|>ϵn)=0

Es ist falsch zu behaupten, dass dies impliziert

limnP(|X¯n1|>0)=0

Es ist weniger schön, dass diese Frage so früh gekreuzt wurde (verwirrend, aber dennoch interessant, die verschiedenen Diskussionen / Ansätze Mathe vs. Statistik zu sehen, also nicht so schlimm). Die Antwort von Michael Hardy auf den Mathestackexchange setzt sich sehr effektiv mit dem starken Gesetz der großen Zahlen auseinander (dasselbe Prinzip wie die akzeptierte Antwort von drhab in der Kreuzfrage und Dilip hier). Wir sind uns fast sicher, dass eine Sequenz gegen 1 konvergiert, aber dies bedeutet nicht, dassX¯1,X¯2,X¯3,...X¯nlimnP(X¯n=1)wird gleich 1 sein (oder es kann nicht einmal existieren, wie Dilip zeigt). Das Würfelbeispiel in den Kommentaren von Tomasz zeigt dies sehr schön aus einem anderen Blickwinkel (anstelle des nicht existierenden Limits geht das Limit auf Null). Der Mittelwert einer Folge von Würfeln konvergiert gegen den Mittelwert der Würfel, aber die Wahrscheinlichkeit, dass er gleich ist, geht gegen Null.


Heaviside-Step-Funktion und Dirac-Delta-Funktion

Die CDF von ist wie folgt:X¯n

FX¯n(x)=12(1+erfx12/n)

mit, wenn Sie möchten, (bezogen auf die Heaviside-Schrittfunktion , das Integral der Dirac-Delta-Funktion, wenn es als die Grenze von angesehen wird Normalverteilung).limnFX¯n(1)=0.5


Ich glaube, dass diese Sichtweise Ihre Frage nach dem „Zeigen, dass es falsch ist“ intuitiv löst oder zumindest zeigt, dass die Frage nach dem Verständnis der Ursache dieser Uneinigkeit zwischen CLT und LLN der Frage nach dem Verständnis des Integrals der Dirac-Delta-Funktion entspricht oder eine Folge von Normalverteilungen mit auf Null abnehmender Varianz.


2
Ihre einschränkende Verteilung ist in der Tat überhaupt keine Verteilung. Eine CDF muss rechts stetig sein, wohingegen sie eindeutig nicht bei . x=1/2
Alex R.

Die richtige Kontinuität scheint notwendig zu sein, so dass wir für jedes als Ereignisse sind verschachtelt, wir sollten aber ist das für unseren Fall wahr und wo ist der Haken? Ist diese richtige Kontinuität auf der Grundlage von Wahrscheinlichkeitsaxiomen erforderlich oder ist es nur eine Konvention, dass die CDF in den meisten Fällen funktioniert? alimnFX(a+1n)=FX(a)Xa+1n
limnFX(a+1n)=limnP(Xa+1n)=P(limnXa+1n)=P(Xa)=FX(a)
Sextus Empiricus

@ Martin Weterings: Genau hier kommt es her. Jedes gültige Maß muss diese Monotonieergebnisse erfüllen. Sie sind eine Folge der Begrenztheit von zusammen mit abzählbarer Additivität. Im Allgemeinen ist eine Funktion eine CDF (dh sie entspricht einer gewissen Verteilung über wenn rechtskontinuierlich ist und monoton ist , und mit der linken Grenze 0, rechte Grenze 1.PPF(x)PF(b)F(a)=P(a<Xb)F
Alex R.

2

Ich glaube, es sollte jetzt klar sein, dass "der CLT-Ansatz" die richtige Antwort gibt.

Lassen Sie uns genau herausfinden, wo der "LLN-Ansatz" schief geht.

Ausgehend von den endlichen Anweisungen ist es dann klar, dass wir entweder von beiden Seiten gleichermaßen subtrahieren oder beide Seiten mit multiplizieren können . Wir bekommenn1/n

P(1ni=1nXin)=P(1ni=1n(Xi1)0)=P(1ni=1nXi1)

Wenn das Limit existiert, ist es identisch. Wenn , verwenden wir VerteilungsfunktionenZn=1ni=1n(Xi1)

P(1ni=1nXin)=FZn(0)=FX¯n(1)

... und es ist wahr, dass .limnFZn(0)=Φ(0)=1/2

Das Denken im "LLN-Ansatz" lautet wie folgt: "Wir wissen aus dem LLN, dass in der Wahrscheinlichkeit zu einer Konstanten konvergiert. Und wir wissen auch, dass" Konvergenz in der Wahrscheinlichkeit Konvergenz in der Verteilung impliziert ". Also konvergiert in Verteilung auf eine Konstante ". Bis hierher sind wir richtig. Dann stellen wir fest: "Daher sind die einschränkenden Wahrscheinlichkeiten für durch die Verteilungsfunktion der Konstanten bei Zufallsvariable gegeben",X¯nX¯n
X¯n1

F1(x)={1x10x<1F1(1)=1

... also ...limnFX¯n(1)=F1(1)=1

... und wir haben gerade unseren Fehler gemacht . Warum? Weil, als @AlexR. Antwort bemerkt , "Konvergenz in der Verteilung" umfasst nur die Punkte der Kontinuität der begrenzenden Verteilungsfunktion. Und ist ein Punkt der Diskontinuität für . Dies bedeutet , dass kann gleich sein , aber es kann nicht sein , ohne zu negieren "Konvergenz in Verteilung auf einen konstanten" Implikation des LLN .1F1limnFX¯n(1) F1(1)

Und da wir aus dem CLT-Ansatz wissen, wie hoch der Grenzwert sein muss ( ). Ich kenne keinen Weg, um direkt zu beweisen, dass .1/2limnFX¯n(1)=1/2

Haben wir etwas Neues gelernt?

Ich tat. Die LLN macht das geltend

limnP(|X¯n1|ε)=1for all ε>0

limn[P(1ε<X¯n1)+P(1<X¯n1+ε)]=1

limn[P(X¯n1)+P(1<X¯n1+ε)]=1

Die LLN sagt nicht aus, wie die Wahrscheinlichkeit im Intervall . Was ich gelernt habe, ist, dass in dieser Klasse von Konvergenzergebnissen die Wahrscheinlichkeit an der Grenze liegt, die auf beiden Seiten des Mittelpunkts des Kollabierungsintervalls gleich verteilt ist. (1ε,1+ε)

Die allgemeine Aussage hier ist angenommen

Xnpθ,h(n)(Xnθ)dD(0,V)

wo sind einige rv mit Verteilungsfunktion . DannDFD

limnP[Xnθ]=limnP[h(n)(Xnθ)0]=FD(0)

... die möglicherweise nicht gleich (die Verteilungsfunktion der Konstanten rv).Fθ(0)

Dies ist auch ein gutes Beispiel dafür, dass "Konvergenz in der Verteilung zu einer Zufallsvariablen" eine Situation beschreiben kann, in der "die Grenzverteilung" möglicherweise nicht mit der "Verteilung der Begrenzung" übereinstimmt, wenn die Verteilungsfunktion der Grenzzufallsvariablen Diskontinuitäten aufweist Zufallsvariable "an den Diskontinuitätspunkten. Streng genommen ist die Grenzverteilung für die Durchgangspunkte die der konstanten Zufallsvariablen. Für die Diskontinuitätspunkte können wir möglicherweise die Grenzwahrscheinlichkeit als "getrennte" Einheiten berechnen.


Die Perspektive „Lesson Learned“ ist interessant, und dies ist ein gutes, nicht allzu schwieriges Beispiel für eine didaktische Anwendung. Obwohl ich mich frage, welche Art von (direkter) praktischer Anwendung dieses Denken über das Unendliche hat, weil schließlich in der Praxisn
Sextus Empiricus

@MartijnWeterings Martijn, die Motivation hier war sicherlich lehrreich, a) als Warnung vor Diskontinuitäten auch in einer solchen "flachen" Situation wie der Konvergenz zu einer Konstanten und so auch allgemein (sie zerstören zum Beispiel die einheitliche Konvergenz), und b) Ein Ergebnis darüber, wie die Wahrscheinlichkeitsmasse zugeordnet wird, wird interessant, wenn die Sequenz, die mit Wahrscheinlichkeit zu einer Konstanten konvergiert, immer noch eine Abweichung ungleich Null aufweist.
Alecos Papadopoulos

Wir könnten sagen, dass CLT etwas über die Konvergenz zu einer begrenzten normalverteilten Variablen sagen soll (und somit in der Lage ist, solche Dinge wie auszudrücken ), aber LLN erlaubt uns nur zu sagen, dass wir uns näher kommen, indem wir die Stichprobengröße erhöhen zum wahren Mittelwert, aber dies bedeutet nicht, dass wir mit höherer Wahrscheinlichkeit „genau gleich dem Stichprobenmittelwert“ sind. LLN bedeutet, dass der Stichprobenmittelwert immer näher an einen Grenzwert herankommt, dieser jedoch (mit höherer Wahrscheinlichkeit) nicht erreicht wird. LLN sagt nichts überF ( x )F(x)F(x)
Sextus Empiricus

Die ursprünglichen Gedanken rund um das LLN waren eigentlich entgegengesetzt (siehe die Argumentation von Arbuthnot stats.stackexchange.com/questions/343268 ). "Es ist aus dem Gesagten ersichtlich, dass mit einer sehr großen Anzahl von Würfeln A's Lot sehr klein werden würde ... es würde nur einen kleinen Teil aller möglichen Chancen geben, dass es zu einem zuweisbaren Zeitpunkt passiert Eine gleiche Anzahl von Männern und Frauen sollte geboren werden. "
Sextus Empiricus
Durch die Nutzung unserer Website bestätigen Sie, dass Sie unsere Cookie-Richtlinie und Datenschutzrichtlinie gelesen und verstanden haben.
Licensed under cc by-sa 3.0 with attribution required.