Simulation der Wahrscheinlichkeitskonvergenz zu einer Konstanten

Asymptotische Ergebnisse können durch Computersimulation nicht nachgewiesen werden, da es sich um Aussagen handelt, die das Konzept der Unendlichkeit betreffen. Aber wir sollten in der Lage sein, ein Gefühl dafür zu bekommen, dass die Dinge tatsächlich so laufen, wie es uns die Theorie sagt.

lim_{n \to \infty} P (| X_{n} | > ϵ) = 0, ϵ > 0

$\lim_{n\rightarrow\infty}P(|X_n|>\epsilon) = 0, \qquad \epsilon >0$

Dabei ist eine Funktion von Zufallsvariablen, beispielsweise identisch und unabhängig verteilt. Dies besagt, dass in der Wahrscheinlichkeit gegen Null konvergiert. Das archetypische Beispiel hier ist wohl der Fall, in dem der Stichprobenmittelwert abzüglich des gemeinsamen Erwartungswerts der iidrvs der Stichprobe ist. $X_n$ $n$ $X_n$ $X_n$

X_{n} = \frac{1}{n} \sum_{i = 1}^{n} Y_{i} - E [Y_{1}]

$X_n = \frac 1n\sum_{i=1}^nY_i - E[Y_1]$

FRAGE: Wie können wir jemandem überzeugend zeigen, dass die obige Beziehung "in der realen Welt materialisiert", indem wir Computersimulationsergebnisse aus notwendigerweise endlichen Stichproben verwenden?

Bitte beachten Sie, dass ich speziell die Konvergenz zu einer Konstanten gewählt habe .

Ich gebe unten meinen Ansatz als Antwort an und hoffe auf bessere.

UPDATE: Etwas in meinem Hinterkopf hat mich gestört - und ich habe herausgefunden, was. Ich habe eine ältere Frage ausgegraben, bei der eine äußerst interessante Diskussion in den Kommentaren zu einer der Antworten stattfand . Dort lieferte @Cardinal ein Beispiel für einen Schätzer, der konsistent ist, dessen Varianz jedoch ungleich Null und asymptotisch endlich bleibt. So eine härtere Variante meiner Frage wird: Wie zeigen wir durch die Simulation , dass eine Statistik konvergiert in Wahrscheinlichkeit auf eine Konstante, wenn diese Statistik asymptotisch nicht Null und endliche Varianz unterhält?

— Alecos Papadopoulos
quelle

@Glen_b Von dir kommend ist dies das Äquivalent eines Abzeichens. Vielen Dank.

— Alecos Papadopoulos

Ich habe hin und wieder darüber nachgedacht und alles, was ich mir ausgedacht habe, ist diese 'Konzentration auf das Mittelwert'-Argument; Ich hoffe, einige der klugen Leute hier haben Zeit, etwas Interessantes zu schreiben! (+1 natürlich!)

— ekvall

Ich stelle mir als Verteilungsfunktion vor (eine komplementäre im speziellen Fall). Da ich mithilfe von Computersimulationen zeigen möchte, dass die Dinge so verlaufen, wie es das theoretische Ergebnis sagt, muss ich die empirische Verteilungsfunktion von konstruieren oder die empirische relative Häufigkeitsverteilung und zeigen dann irgendwie, dass mit zunehmendem die Werte von Konzentriere dich "mehr und mehr" auf Null. $P()$ $|X_n|$ $n$ $|X_n|$

Um eine empirische relative Frequenzfunktion zu erhalten, benötige ich (viel) mehr als eine Stichprobe, deren Größe zunimmt, da mit zunehmender Stichprobengröße die Verteilung von zunimmt Änderungen für jedes unterschiedliche . $|X_n|$ $n$

Also habe ich aus der Verteilung der generieren müssen ‚s, Proben‚parallel‘, sagen in die Tausende reichen, die jeweils von einem gewissen Anfangsgröße , sagen in die Zehntausende reichen. Ich muss dann den Wert von berechnen Aus jeder Stichprobe (und für dasselbe ) erhalten Sie die Menge der Werte . $Y_i$ $m$ $m$ $n$ $n$ $|X_n|$ $n$ $\{|x_{1n}|, |x_{2n}|,...,|x_{mn}|\}$

Diese Werte können verwendet werden, um eine empirische relative Häufigkeitsverteilung zu erstellen. Da ich an das theoretische Ergebnis glaube, erwarte ich, dass "viele" der Werte vonwird "sehr nahe" bei Null sein - aber natürlich nicht alle. $|X_n|$

Um zu zeigen, dass die Werte vonWenn Sie tatsächlich in immer größerer Zahl gegen Null marschieren, müsste ich den Vorgang wiederholen, die Stichprobengröße auf erhöhen und zeigen, dass jetzt die Konzentration auf Null "gestiegen" ist. Um zu zeigen, dass es zugenommen hat, sollte man natürlich einen empirischen Wert für angeben . $|X_n|$ $2n$ $\epsilon$

Wäre das genug? Könnten wir diesen "Konzentrationsanstieg" irgendwie formalisieren? Könnte dieses Verfahren, wenn es in Schritten zur Erhöhung der Stichprobengröße durchgeführt wird und der eine näher am anderen liegt, uns eine Schätzung der tatsächlichen Konvergenzrate liefern , dh so etwas wie eine empirische Wahrscheinlichkeitsmasse, die sich unter den Schwellenwert pro bewegt jeder Schritt "von beispielsweise tausend? $n$

Oder untersuchen Sie den Wert des Schwellenwerts, für den beispielsweise % der Wahrscheinlichkeit darunter liegen, und sehen Sie, wie dieser Wert von in seiner Größe verringert wird? $90$ $\epsilon$

EIN BEISPIEL

Betrachten Sie die als und so weiter $Y_i$ $U(0,1)$

| X_{n} | = | \frac{1}{n} \sum_{i = 1}^{n} Y_{i} - \frac{1}{2} |

$|X_n| = \left|\frac 1n\sum_{i=1}^nY_i - \frac 12\right|$

Wir erzeugen zuerst Proben mit einer Größe von jeweils . Die empirische relative Häufigkeitsverteilung vonsieht aus wie $m=1,000$ $n=10,000$ $|X_{10,000}|$ Geben Sie hier die Bildbeschreibung ein

und wir stellen fest, dass % der Werte vonsind kleiner als . $90.10$ $|X_{10,000}|$ $0.0046155$

Als nächstes erhöhe ich die Stichprobengröße auf . Nun die empirische relative Häufigkeitsverteilung vonsieht aus wie und wir stellen fest, dass % der Werte vonliegen unter . Alternativ fallen jetzt % der Werte unter . $n=20,000$ $|X_{20,000}|$ Geben Sie hier die Bildbeschreibung ein $91.80$ $|X_{20,000}|$ $0.0037101$ $98.00$ $0.0045217$

Würden Sie von einer solchen Demonstration überzeugt sein?

— Alecos Papadopoulos
quelle

Nein, ich würde mich von einer solchen Demonstration nicht überzeugen lassen, wenn das alles wäre , was angeboten wird. Es ist nicht möglich, zwischen dem beanspruchten Ergebnis und einem Ergebnis zu unterscheiden, bei dem eine sehr geringe Menge an Verunreinigungen durch eine Verteilung ungleich Null vorliegt. Jede Computersimulation muss, um wirklich überzeugend zu sein, von Überlegungen begleitet sein, die solche Phänomene ausschließen würden. (Ich habe kürzlich eine Reihe von Simulationen durchgeführt, die eine Stichprobengröße von hatten - das ist kein Tippfehler -, aber von den Ergebnissen immer noch nicht überzeugt, obwohl sie sehr suggestiv waren!)

10^{1000}

$10^{1000}$

— whuber

@whuber Was du schreibst, klingt sehr interessant. Waren diese von Ihnen erwähnten Simulationen auf der Grundlage einiger realer Anfangsdaten, aus denen Verteilungen geschätzt und dann zusätzliche künstliche Daten generiert wurden? Oder war es von Anfang an künstlich? Wenn Vertraulichkeit kein Thema ist und die Zeit es zulässt, würde ich persönlich sehr gerne eine Antwort von Ihnen sehen, die einen Einblick in die Entwicklung dieser Simulationen gibt und warum der Zweifel bestehen bleibt.

— Alecos Papadopoulos

N

$N$

(1 / 2)

$(1/2)$

(N, 1 / 2)

$(N,1/2)$

N

$N$

(N / 2, \sqrt{N} / 2)

$(N/2, \sqrt{N}/2)$

1000

$1000$

@ Whuber Danke, ich werde daran arbeiten. Die Frage, die Sie erwähnen, die Antwort darin und Ihre Kommentare haben mich übrigens veranlasst, sowohl die asymptotische Verteilung der Stichprobenvarianz von nicht normalen Stichproben als auch die Anwendbarkeit des Slutsky-Theorems auf diese Weise eingehender zu untersuchen in der Antwort verwendet. Ich hoffe, dass ich irgendwann einige Ergebnisse teilen kann.

— Alecos Papadopoulos