Intuitive Erklärung von Verteilungskonvergenz und Wahrscheinlichkeitskonvergenz

Was ist der intuitive Unterschied zwischen einer zufälligen Variablen, deren Wahrscheinlichkeit konvergiert, und einer zufälligen Variablen, deren Verteilung konvergiert?

Ich habe zahlreiche Definitionen und mathematische Gleichungen gelesen, aber das hilft nicht wirklich. (Bitte denken Sie daran, dass ich Student im Grundstudium der Ökonometrie bin.)

Wie kann eine Zufallsvariable zu einer einzelnen Zahl, aber auch zu einer Verteilung konvergieren?

Wie kann eine Zufallszahl zu einer Konstanten konvergieren?

Nehmen wir an, Sie haben Bälle in der Schachtel. Sie können sie einzeln auswählen. Nachdem Sie k Bälle ausgewählt haben, frage ich Sie: Was ist das Durchschnittsgewicht der Bälle in der Schachtel? Ihre beste Antwort wäre ˉ x k = $N$$k$. Sie erkennen, dass ˉ x kselbst der Zufallswert ist? Es kommt darauf an, welchekBälle du zuerst ausgesucht hast.$\bar x_k=\frac{1}{k}\sum_{i=1}^kx_i$$\bar x_k$$k$

Wenn Sie nun weiter an den Bällen ziehen, sind irgendwann keine Bälle mehr in der Schachtel und Sie erhalten .$\bar x_N\equiv\mu$

Wir haben also die Zufallsfolge die konvergent auf die konstante ˉ x N=μ. Der Schlüssel zum Verständnis Ihres Problems mit Konvergenz der Wahrscheinlichkeit liegt also in der Erkenntnis, dass es sich umeine Folge von Zufallsvariablen handelt, die auf eine bestimmte Weise konstruiert sind.

Als nächstes erhalten wir einheitliche Zufallszahlen , wobei e i ∈ [ 0 , 1 ] ist . Schauen wir uns die Zufallsfolge ξ 1 , ξ 2 , … an , wobei ξ k = $e_1,e_2,\dots$$e_i\in [0,1]$$\xi_1,\xi_2,\dots$ . Das ξ k ist ein Zufallswert, da alle seine Terme Zufallswerte sind. Wir können nicht vorhersagenwas ξ k zu gehen. Es stellt sich jedoch heraus, dass wir behaupten können, dass die Wahrscheinlichkeitsverteilungen vonimmer mehr der normalenwerden. So laufen die Verteilungen zusammen. ξkN(0,1$\xi_k=\frac{1}{\sqrt{\frac{k}{12}}}\sum_{i=1}^k \left(e_i- \frac{1}{2} \right)$$\xi_k$$\xi_k$$\xi_k$$\mathcal{N}(0,1)$

Es ist nicht klar, wie viel Intuition ein Leser dieser Frage über die Konvergenz von irgendetwas haben könnte, geschweige denn über zufällige Variablen. Ich werde also schreiben, als ob die Antwort "sehr wenig" wäre. Etwas, das helfen könnte: anstatt zu überlegen, wie eine Zufallsvariable konvergieren kann, fragen Sie, wie eine Folge von Zufallsvariablen konvergieren kann. Mit anderen Worten, es ist nicht nur eine einzelne Variable, sondern eine (unendlich lange!) Liste von Variablen, und diejenigen, die später in der Liste stehen, nähern sich immer mehr ... etwas an. Vielleicht eine einzelne Nummer, vielleicht eine ganze Verteilung. Um eine Intuition zu entwickeln, müssen wir herausfinden, was "näher und näher" bedeutet. Der Grund, warum es so viele Konvergenzmodi für Zufallsvariablen gibt, ist, dass es verschiedene Arten von "

Lassen Sie uns zunächst die Konvergenz von Folgen reeller Zahlen zusammenfassen. In wir die euklidische Distanz | verwenden x - y $\mathbb{R}$ $|x-y|$um zu messen, wie nah an y ist . Betrachte x n = n + $x$$y$ . Dann ist die Folgex1$x_n = \frac{n+1}{n} = 1 + \frac{1}{n}$ startet 2 , $x_1, \, x_2, \, x_3, \dots$und ich behaupte, dassxngegen1konvergiert. Offensichtlichxnwird immernäherzu1, aber es ist auch wahrdassxnrückt näher zu0,9. Beispielsweise haben die Terme in der Sequenz ab dem dritten Term einen Abstand von0,5oder weniger von0,9. Was zählt ist, dass siewillkürlichnahe an1 kommen, aber nicht an0,9. Keine Terme in der Sequenz liegen jemals innerhalb von0,05von$2, \frac{3}{2}, \frac{4}{3}, \frac{5}{4}, \frac{6}{5}, \dots$$x_n$$1$$x_n$$1$$x_n$$0.9$$0.5$$0.9$$1$$0.9$$0.05$$0.9$, geschweige denn, dass für nachfolgende Begriffe in der Nähe bleiben. Im Gegensatz dazu ist also 0,05 von 1 , und alle nachfolgenden Terme liegen innerhalb von 0,05 von 1 , wie unten gezeigt.$x_{20}=1.05$$0.05$$1$$0.05$$1$

Ich könnte strenger sein und Ausdrücke fordern und innerhalb von von 1 bleiben , und in diesem Beispiel finde ich, dass dies für die Ausdrücke N = 1000 und weiter gilt. Außerdem konnte ich jede feste Schwelle der Nähe ϵ wählen , egal wie streng (mit Ausnahme von ϵ = 0 , dh der Term ist tatsächlich 1 ) und schließlich die Bedingung | x n - x | < ϵ wird für alle Terme nach einem bestimmten Term erfüllt (symbolisch: für n > N , wobei der Wert von $0.001$$1$$N=1000$$\epsilon$$\epsilon = 0$$1$$|x_n - x| \lt \epsilon$$n \gt N$$N$ hängt davon ab, wie streng ein $\epsilon$ ich gewählt haben). Bei komplexeren Beispielen ist zu beachten, dass ich nicht unbedingt daran interessiert bin, dass die Bedingung zum ersten Mal erfüllt wird - der nächste Begriff entspricht möglicherweise nicht der Bedingung, und das ist in Ordnung, solange ich in der Sequenz einen weiteren Begriff finde, für den Die Bedingung ist erfüllt und bleibt für alle späteren Bedingungen erfüllt. Ich illustriere dies für , das ebenfalls gegen1konvergiert, mitϵ=0,05wieder schattiert.$x_n = 1 + \frac{\sin(n)}{n}$$1$$\epsilon=0.05$

Betrachten Sie nun und die Folge von Zufallsvariablen$X \sim U(0,1)$. Dies ist eine Folge von Wohnmobilen mitX1$X_n = \left(1 + \frac{1}{n}\right) X$ , X 2 = $X_1 = 2X$ , X 3 = $X_2 = \frac{3}{2} X$und so weiter. Inwiefern können wir sagen, dass dies näher anXselbstrückt?$X_3 = \frac{4}{3} X$$X$

Da und X Verteilungen sind, nicht nur einzelne Zahlen, ist die Bedingung | X n - X | < ϵ ist jetzt ein Ereignis : Auch für ein festes n und ϵ kann dies vorkommen oder nicht . Wenn man bedenkt, wie wahrscheinlich es ist, führt es zu einer Konvergenz der Wahrscheinlichkeit . Für X n p → X wollen wir die komplementäre Wahrscheinlichkeit P $X_n$$X$$|X_n - X| \lt \epsilon$$n$$\epsilon$$X_n \overset{p}{\to} X$$P(|X_n - X| \ge \epsilon)$- intuitiv die Wahrscheinlichkeit, dass etwas anders ist (um mindestens ϵ ) als X - willkürlich klein zu werden, für ausreichend großes n . Für ein festes ϵ ergibt sich eine ganze Folge von Wahrscheinlichkeiten , P ( | X 1 - X | ≥ ϵ ) , P ( | X 2 - X | ≥ ϵ ) , P ( | X 3 - X |$X_n$$\epsilon$$X$$n$$\epsilon$$P(|X_1 - X| \ge \epsilon)$$P(|X_2 - X| \ge \epsilon)$ , ... und wenn diese Folge von Wahrscheinlichkeiten konvergiert gegen Null (wie in unserem Beispiel geschieht)dann sagen wir X n konvergiert in Wahrscheinlichkeit X . Beachtendass Wahrscheinlichkeitsgrenzen sind oft Konstanten: zum Beispiel in Regressionen in Ökonometrie, sehen wir plim ( β ) = β , wie wir die Probengröße erhöhen n . Aber hier ist plim ( X n ) = X ∼ U ( 0 , 1 ) . Konvergenz der Wahrscheinlichkeit bedeutet effektiv, dass es unwahrscheinlich ist, dass$P(|X_3 - X| \ge \epsilon)$$\dots$$X_n$$X$$\text{plim}(\hat \beta) = \beta$$n$$\text{plim}(X_n) = X \sim U(0,1)$ und X werden sich bei einer bestimmten Erkenntnis stark unterscheiden - und ich kann die Wahrscheinlichkeit, dass X n und X weiter als ϵ auseinander liegen, so klein machen, wie ich möchte, solange ich ein ausreichend großes n wähle.$X_n$$X$$X_n$$X$$\epsilon$$n$

Ein anderer Sinn, in dem näher an X kommt, besteht darin, dass ihre Verteilungen sich immer ähnlicher werden. Ich kann dies messen, indem ich ihre CDFs vergleiche. Insbesondere Pick einig x , an dem F X ( x ) = P ( X ≤ x ) kontinuierlich (in unserem Beispiel X ~ U ( 0 , 1 ) , so dass ihr CDF kontinuierlichen überall und jeder x tun wird) und bewerten die CDFs der Folge von X n s gibt. Dies erzeugt eine andere Folge von Wahrscheinlichkeiten,$X_n$$X$$x$$F_X(x) = P(X \leq x)$$X \sim U(0,1)$$x$$X_n$ , P ( X 2 ≤ x ) , P ( X 3 ≤ x ) , ... und diese Sequenz konvergiert gegen P ( X ≤ x ) . Die CDFs bei ausgewertet x für jedes der X n werden willkürlich nahe der CDF von X bei ausgewertet x . Wenn dieses Ergebnis unabhängig von dem ausgewählten x zutrifft,konvergiert X n gegen$P(X_1 \leq x)$$P(X_2 \leq x)$$P(X_3 \leq x)$$\dots$$P(X \leq x)$$x$$X_n$$X$$x$$x$$X_n$ im Vertrieb. Es stellt sich heraus, dass dies hier passiert, und wir sollten nicht überrascht sein, da die Konvergenz der Wahrscheinlichkeit zu X die Konvergenz der Verteilung zu X impliziert. Es ist zu beachten, dasses nicht der Fall sein kann, dass X n in der Wahrscheinlichkeit zu einer bestimmten nicht entarteten Verteilung konvergiert, sondern in der Verteilung zu einer Konstanten. (Was war möglicherweise der Grund für Verwirrung in der ursprünglichen Frage? Beachten Sie jedoch eine spätere Klarstellung.)$X$ $X$$X$$X_n$

Für ein anderes Beispiel sei . Wir haben jetzt eine Folge von RVs,Y1∼U(1,2),Y2$Y_n \sim U(1, \frac{n+1}{n})$$Y_1 \sim U(1,2)$,Y3$Y_2 \sim U(1,\frac{3}{2})$,…und es ist klar, dass die Wahrscheinlichkeitsverteilung zu einer Spitze beiy=1degeneriert. Betrachten wir nun die entartete VerteilungY=1, womit ichP(Y=1)=1meine. Es ist leicht zu erkennen, dass für jedesϵ>0die SequenzP(|Yn-Y|≥ϵ)wahrscheinlicher ist. Folglichmuss auchYngegenYkonvergieren$Y_3 \sim U(1,\frac{4}{3})$$\dots$$y=1$$Y=1$$P(Y=1)=1$$\epsilon \gt 0$$P(|Y_n - Y| \ge \epsilon)$ gegen Null konvergiert, so dass gegen Y konvergiert$Y_n$$Y$$Y_n$$Y$ in der Verteilung , was wir anhand der CDFs bestätigen können. Da die CDF von Y bei diskontinuierlich ist y = 1 brauchen wir nicht die CDFs auf diesem Wert ausgewertet betrachten, sondern auch für die an jedem anderen ausgewertet CDFs y können wir , dass die Sequenz siehe P ( Y 1 ≤ y ) , P ( Y 2 ≤ y ) , P ( Y 3$F_Y(y)$$Y$$y=1$$y$$P(Y_1 \leq y)$$P(Y_2 \leq y)$ , … konvergiert gegen P ( Y ≤ y ), das für y < 1 und für y > 1 Null ist. Diesmal konvergierte die Verteilung der RVs ebenfalls zu einer Konstanten, da die Wahrscheinlichkeit der Konvergenz der Sequenz gegen eine Konstante bestand.$P(Y_3 \leq y)$$\dots$$P(Y \leq y)$$y \lt 1$$y \gt 1$

Einige abschließende Klarstellungen:

• Obwohl Konvergenz der Wahrscheinlichkeit Konvergenz der Verteilung impliziert, ist die Umkehrung im Allgemeinen falsch. Nur weil zwei Variablen die gleiche Verteilung haben, heißt das nicht, dass sie wahrscheinlich nahe beieinander liegen müssen. Für ein einfaches Beispiel, nehmen und Y = 1 - X . Dann haben X und Y beide genau die gleiche Verteilung (mit einer Wahrscheinlichkeit von jeweils 50% von Null oder Eins) und die Folge X n = X, dh die Folge nach X , X , X , X , $X\sim\text{Bernouilli}(0.5)$$Y=1-X$$X$$Y$$X_n=X$$X,X,X,X,\dots$Konvergiert trivial in der Verteilung zu konvergiert nicht auf Y in Wahrscheinlichkeit. Wenn es jedoch eine Konvergenz der Verteilung zu einer Konstanten gibt, impliziert dies eine Konvergenz der Wahrscheinlichkeit zu dieser Konstanten (intuitiv wird es im weiteren Verlauf unwahrscheinlich, dass sie von dieser Konstante weit entfernt ist).$Y$(Die CDF an einer beliebigen Position in der Sequenz ist dieselbe wie die CDF von ). Aber Y und X ist immer ein auseinander, so P ( | X n - Y | & ge ; 0,5 ) = 1 , so neigt nicht auf Null, so X $Y$$Y$$X$$P(|X_n - Y| \ge 0.5)=1$$X_n$$Y$
• Wie meine Beispiele verdeutlichen, kann die Wahrscheinlichkeitskonvergenz konstant sein, muss es aber nicht sein. Konvergenz in der Verteilung könnte auch eine Konstante sein. Es ist nicht möglich, die Wahrscheinlichkeit zu einer Konstanten zu konvergieren, sondern die Verteilung zu einer bestimmten nicht entarteten Verteilung zu konvergieren oder umgekehrt.
• Ist es möglich, dass Sie ein Beispiel gesehen haben, in dem Ihnen beispielsweise mitgeteilt wurde, dass eine Sequenz andere Sequenz Y n konvergiert hat $X_n$ $Y_n$ ? Sie haben vielleicht nicht bemerkt, dass es sich um eine Sequenz handelt, aber das Give-away wäre, wenn es eine Distribution wäre, die auch von abhängt . Möglicherweise konvergieren beide Sequenzen zu einer Konstanten (degenerierte Verteilung). Ihre Frage lässt vermuten, dass Sie sich fragen, wie eine bestimmte Sequenz von Wohnmobilen sowohl zu einer Konstanten als auch zu einer Verteilung konvergieren könnte. Ich frage mich, ob dies das Szenario ist, das Sie beschreiben.$n$
• Meine derzeitige Erklärung ist nicht sehr "intuitiv" - ich wollte die Intuition grafisch darstellen, hatte aber noch keine Zeit, die Grafiken für die Wohnmobile hinzuzufügen.

Meiner Meinung nach vermitteln die vorhandenen Antworten alle nützliche Punkte, aber sie machen keinen wichtigen Unterschied zwischen den beiden Konvergenzarten deutlich.

Sei , n = 1 , 2 , ... und Y Zufallsvariablen. Stellen Sie sich für die Intuition vor, dass X n ihre Werte durch ein Zufallsexperiment zugewiesen bekommen , das sich für jedes n ein wenig ändert , was eine unendliche Folge von Zufallsvariablen ergibt, und nehmen Sie an, dass $X_n$$n=1,2,\dots$$Y$$X_n$$n$$Y$ ergibt. bekommt seinen Wert durch ein anderes Zufallsexperiment zugewiesen.

Wenn , die wir haben, per definitionem, dass die Wahrscheinlichkeit von Y und X n durch eine beliebig kleine Menge voneinander unterscheiden gegen Null als n → ∞ , für so wenig , wie Sie möchten. Wir sind uns sicher, dass X n und Y weit außerhalb der Folge von X n sehr nahe beieinander liegen werden.$X_n\overset{p}{\to}Y$$Y$$X_n$$n\to\infty$$X_n$$X_n$$Y$

Auf der anderen Seite, wenn wir nur die Konvergenz in Verteilung haben und nicht die Konvergenz in Wahrscheinlichkeit, dann wissen wir , dass für große , P ( X n ≤ x ) fast die gleiche wie P ( Y ≤ x ) , für fast jeden x . Beachten Sie, dass dies nichts darüber aussagt, wie nahe die Werte von X n und Y beieinander liegen. Zum Beispiel, wenn Y ≤ N ( 0 , 10 10 ) und damit X $n$$P(X_n\leq x)$$P(Y\leq x)$$x$$X_n$$Y$$Y\sim N(0, 10^{10})$$X_n$ für großes ziemlich genau so verteilt -Variablen sein. , dann scheint es intuitiv wahrscheinlich, dass sich die Werte von X n und Y bei jeder gegebenen Beobachtung ziemlich stark unterscheiden. Denn wenn es keine anderen Beschränkungen als die Konvergenz der Verteilung gibt, können sie aus praktischen Gründen unabhängig sein. N ( 0 , 10 10$n$$X_n$$Y$$N(0,10^{10})$

(In einigen Fällen ist es möglicherweise nicht sinnvoll, und Y zu vergleichen. Vielleicht sind sie nicht einmal im gleichen Wahrscheinlichkeitsraum definiert. Dies ist jedoch eine eher technische Anmerkung.)$X_n$$Y$

Was ich nicht verstehe, ist, wie eine Zufallsvariable zu einer einzelnen Zahl, aber auch zu einer Verteilung konvergieren kann?

Wenn Sie Ökonometrie lernen, fragen Sie sich dies wahrscheinlich im Kontext eines Regressionsmodells. Es konvergiert zu einer entarteten Verteilung, zu einer Konstanten. Aber etwas anderes hat eine nicht entartete begrenzende Verteilung.

konvergiert in Wahrscheinlichkeitßwenn die notwendigen Voraussetzungen erfüllt sind. Dies bedeutet, dass durch Auswahl einer ausreichend großen StichprobengrößeNder Schätzer dem wahren Parameter so nahe kommt, wie wir möchten, wobei die Wahrscheinlichkeit, dass er weiter entfernt ist, so gering ist, wie wir möchten. Wenn Sie von der grafischen Darstellung des Histogramms denken β nfür verschiedenen, wird es schließlich seinnur eine Spitze auf zentriertβ.$\hat{\beta}_n$$\beta$$N$$\hat{\beta}_n$$n$$\beta$

In welchem Sinn macht β n Converge im Vertrieb? Es konvergiert auch zu einer Konstanten. Nicht auf eine normalverteilte Zufallsvariable. Wenn Sie die Varianz berechnen β n Sie sehen , dass es schrumpft mit n . So wird es schließlich in groß genug n auf Null gehen, weshalb der Schätzer auf eine Konstante geht. Was zu einer normalverteilten Zufallsvariablen konvergiert, ist$\hat{\beta}_n$$\hat{\beta}_n$$n$$n$

. Wenn Sie die Varianz davon nehmen, werden Sie sehen, dass es mitnnicht schrumpft (oder wächst). Bei sehr großen Stichproben ist diesunter StandardannahmenungefährN(0,σ2). Wir können dann diese Annäherung verwendendie Verteilung der zur Annäherung β$\sqrt{n}(\hat{\beta}_n - \beta)$$n$$N(0, \sigma^2)$$\hat{\beta}_n$ in dieser großen Probe.

Aber Sie haben Recht , dass die Grenzverteilung von β n ist auch eine Konstante.$\hat{\beta}_n$

Lassen Sie mich versuchen, anhand einiger sehr einfacher Beispiele eine sehr kurze Antwort zu geben.

Konvergenz in der Verteilung

Sei , für alle n, dannXnkonvergent zuX~N(0,1)inVerteilung. Die Zufälligkeit bei der Realisierung vonXnändert sich jedoch nicht mit der Zeit. Wenn wir den Wert vonXnvorhersagen müssen,ändert sich die Erwartung unseres Fehlers mit der Zeit nicht.$X_n \sim N\left(\frac{1}{n}, 1 \right)$$X_n$$X \sim N(0, 1)$$X_n$$X_n$

Konvergenz der Wahrscheinlichkeit

Betrachten Sie nun die Zufallsvariable , die mit einer Wahrscheinlichkeit von 1 bis 1 den Wert 0 annimmt$Y_n$$0$ und1sonst. Wennngegen unendlich geht, sind wir uns immer sicherer, dassYngleich0 ist. Daher sagen wir, dassYnmit der Wahrscheinlichkeit gegen0konvergiert. Beachten Sie, dass dies auch impliziert, dassYnin der Verteilung auf0konvergiert.$1-\frac{1}{n}$$1$$n$$Y_n$$0$$Y_n$$0$$Y_n$$0$