Asymptotische Konsistenz mit asymptotischer Varianz ungleich Null - was bedeutet das?

Das Problem ist schon einmal aufgetaucht, aber ich möchte eine bestimmte Frage stellen, die versucht, eine Antwort zu finden, die es verdeutlicht (und klassifiziert):

In "Poor Man's Asymptotics" wird klar unterschieden zwischen

(a) eine Folge von Zufallsvariablen, die mit einer Wahrscheinlichkeit gegen eine Konstante konvergieren

im gegensatz zu

(b) eine Folge von Zufallsvariablen, die in der Wahrscheinlichkeit zu einer Zufallsvariablen (und damit in der Verteilung zu dieser) konvergiert.

Aber in "Wise Man's Asymptotics" können wir auch den Fall haben

(c) eine Folge von Zufallsvariablen, die mit einer Wahrscheinlichkeit gegen eine Konstante konvergieren, während eine Abweichung ungleich Null an der Grenze gehalten wird.

Meine Frage lautet:

Wie können wir einen Schätzer verstehen, der asymptotisch konsistent ist, aber auch eine endliche Varianz ungleich Null hat? Was spiegelt diese Varianz wider? Wie unterscheidet sich sein Verhalten von einem "üblichen" konsistenten Schätzer?

Themen im Zusammenhang mit dem in (c) beschriebenen Phänomen (siehe auch die Kommentare):

— Alecos Papadopoulos
quelle

Die Art und Weise, wie Sie "Poor Man's Asymptotics" großschreiben, lässt mich glauben, dass mir das Wissen über eine Referenz fehlt (oder dass ich sie möglicherweise gesehen, aber vergessen habe, was ungefähr dasselbe ist); entweder ein aktuelles Buch oder eine Zeitung oder vielleicht sogar nur eine kulturelle Referenz. Ich kenne "Poor Man's Data Augmentation" (Tanner und Wei), aber ich glaube nicht, dass dies mit dem zusammenhängt, worauf du hinaus willst. Was vermisse ich?

— Glen_b -Reinstate Monica

@Glen_B Sie verpassen nichts - ich habe den Begriff nur so formuliert, dass er dem Wissensstand (= intellektueller Zugang zu) der asymptotischen Theorie, den Leute wie ich haben, gegenüberstehen soll. Kapitalisierung war nur eine Marketingtaktik.

— Alecos Papadopoulos

Antworten:

27-10-2014: Leider (für mich) hat noch niemand hier eine Antwort beigesteuert - vielleicht weil es wie ein seltsames, "pathologisches" theoretisches Problem aussieht und sonst nichts?

Nun, um einen Kommentar für den Benutzer Cardinal zu zitieren (den ich später untersuchen werde)

„Hier ist ein zugegebenermaßen absurd, aber einfaches Beispiel die Idee , genau zu erläutern ist , was schief gehen kann , und warum.. Es praktische Anwendungen hat (Hervorhebung von mir) . Beispiel: Betrachten Sie das typische iid Modell mit endlichem zweitem Moment lassen. wobei ist unabhängig von und jeweils mit einer Wahrscheinlichkeit von und ist sonst Null, mit beliebig. Dann $\hat θ_n=\bar X_n+Z_n$ $Z_n$ $\bar X_n$ $Z_n=\pm an$ $1/n^2$ $a>0$ ist unvoreingenommen, hat Varianz nach unten beschränkt durchundfast sicher (es ist stark konsistent). Ich lasse als Übung den Fall bezüglich der Voreingenommenheit ". $\hat θ_n$ $a^2$ $\hat θ_n→\mu$

Die Zufallsvariable des Außenseiters ist hier . Lassen Sie uns also sehen, was wir dazu sagen können. Die Variable hat Unterstützung mit entsprechenden Wahrscheinlichkeiten . Es ist symmetrisch um Null, also haben wir $Z_n$
$\{-an,0,an\}$ $\{1/n^2,1-2/n^2,1/n^2\}$

E (Z_{n}) = 0, Var (Z_{n}) = \frac{(- a n)^{2}}{n^{2}} + 0 + \frac{(a n)^{2}}{n^{2}} = 2 a^{2}

$E(Z_n) = 0,\;\; \text{Var}(Z_n) = \frac {(-an)^2}{n^2} + 0 + \frac {(an)^2}{n^2} = 2a^2$

Diese Momente hängen nicht von also dürfen wir wohl trivial schreiben $n$

lim_{n \to \infty} E (Z_{n}) = 0, lim_{n \to \infty} Var (Z_{n}) = 2 a^{2}

$\lim_{n\rightarrow \infty} E(Z_n) = 0,\;\;\lim_{n\rightarrow \infty}\text{Var}(Z_n) = 2a^2$

In der Asymptotik des armen Mannes kennen wir eine Bedingung für die Grenzen von Momenten, die den Momenten der Grenzverteilung entsprechen. Wenn das te Moment der endlichen Fallverteilung zu einer Konstanten konvergiert (wie in unserem Fall), dann, falls darüber hinaus $r$

\exists δ > 0 : lim sup E (| Z_{n} |^{r + δ}) < \infty

$\exists \delta >0 :\lim \sup E(|Z_n|^{r+\delta}) < \infty$

Die Grenze des ten Moments ist das te Moment der Grenzverteilung. In unserem Fall $r$ $r$

E (| Z_{n} |^{r + δ}) = \frac{| - a n |^{r + δ}}{n^{2}} + 0 + \frac{| a n |^{r + δ}}{n^{2}} = 2 a^{r + δ} \cdot n^{r + δ - 2}

$E(|Z_n|^{r+\delta}) = \frac {|-an|^{r+\delta}}{n^2} + 0 + \frac {|an|^{r+\delta}}{n^2} = 2a^{r+\delta}\cdot n^{r+\delta-2}$

Für divergiert dies für jedes , so dass diese ausreichende Bedingung für die Varianz nicht gilt (sie gilt für den Mittelwert). Umgekehrt: Wie ist die asymptotische Verteilung von ? Konvergiert die CDF von an der Grenze zu einer nicht entarteten CDF? $r\geq2$ $\delta >0$
$Z_n$ $Z_n$

Es sieht nicht so aus: Die einschränkende Unterstützung ist (wenn wir dies schreiben dürfen) und die entsprechenden Wahrscheinlichkeiten . Sieht für mich wie eine Konstante aus. $\{-\infty, 0, \infty\}$ $\{0,1,0\}$
Aber wenn wir überhaupt keine begrenzte Verteilung haben, wie können wir dann über ihre Momente sprechen?

Dann, um den Schätzer zurück , da auch konvergiert auf eine Konstante, es scheint , dass $\hat \theta_n$ $\bar X_n$

hat keine (nicht-triviale) Grenzverteilung, aber es hat an der Grenze eine Varianz aufweisen. Oder vielleicht ist diese Varianz unendlich? Aber eine unendliche Varianz mit einer konstanten Verteilung? $\hat \theta_n$

Wie können wir das verstehen? Was sagt es über den Schätzer aus? Was ist der wesentliche Unterschied, an der Grenze zwischen und ? $\hat \theta_n = \bar X_n + Z_n$ $\tilde \theta_n = \bar X_n$

— Alecos Papadopoulos
quelle

Dumme Referenzanforderung: Haben Sie eine (gute) Quelle für: "Wenn das r-te Moment gegen eine Konstante konvergiert, konvergieren dann alle Momente mit einem niedrigeren Index als r gegen die Momente der Grenzverteilung?". Ich weiß, dass es stimmt, aber ich habe nie eine gute Quelle gefunden

— Guillaume Dehaene,

Zweitens kann der Satz, den Sie verwenden möchten, in diesem Fall nicht angewendet werden: für r = 2 (was der Fall ist, den Sie verwenden möchten: Sie möchten beweisen, dass die Varianz konvergiert), für jedes streng positive

das

divergieren!

δ

$\delta$

E (| Z_{n} |^{r + δ}

$E(|Z_n|^{r+\delta}$

— Guillaume Dehaene

Vielleicht wäre es gut, @ cardinal (im Chat?) Irgendwie anzupingen, damit er sich dieser Diskussion anschließt.

— Amöbe sagt Reinstate Monica

@amoeba Cardinal ist ein Schätzer, der sich hier der wahren Antwort annähert, aber ich erinnere mich, dass ich versucht habe, ihn in der Vergangenheit ohne Erfolg zu beschäftigen.

— Alecos Papadopoulos

@ GuillaumeDehaene Eine Referenz ist AW Van der Vaart (1998) "Asymptotic Statistics", ch. 2.5 "Konvergenz von Momenten". Es wird als Beispiel 2.21 von Satz 2.20 angegeben. Und Sie haben Recht: Ich hatte den Eindruck, dass es ausreicht, Grenzen für endlich

- aber es ist der Limsup, der endlich sein muss. Ich korrigiere meinen Beitrag.

n

$n$

— Alecos Papadopoulos

Ich werde Ihre Frage nicht sehr zufriedenstellend beantworten, da sie mir ein bisschen zu offen erscheint, aber lassen Sie mich versuchen, etwas Licht in den Sinn zu bringen, warum diese Frage schwierig ist.

Ich denke, Sie kämpfen mit der Tatsache, dass die konventionellen Topologien, die wir für Wahrscheinlichkeitsverteilungen und Zufallsvariablen verwenden, schlecht sind. Ich habe in meinem Blog ein größeres Stück darüber geschrieben, aber lassen Sie mich versuchen, zusammenzufassen: Sie können im schwachen (und im total variierenden) Sinne konvergieren, während Sie gegen allgemeine Annahmen darüber verstoßen, was Konvergenz bedeutet.

$Z_n$

Ich persönlich verstehe das so, dass die schwache Topologie (und auch die Topologie der Gesamtvariation) eine schlechte Vorstellung von Konvergenz ist, die verworfen werden sollte. Die meisten Konvergenzen, die wir tatsächlich verwenden, sind stärker. Allerdings weiß ich nicht wirklich, was wir anstelle der schwachen Topologie sooo verwenden sollen ...

$\hat \theta= \bar X+Z_n$ and $\tilde \theta=\bar X$ , here is my take: both estimators are equivalent for the [0,1]-loss (when the size of your mistake doesn't matter). However, $\tilde \theta$ is much better if the size of your mistakes matter, because $\hat \theta$ sometimes fails catastrophically.

— Guillaume Dehaene
quelle

Ein Schätzer hat eine konsistente Wahrscheinlichkeit, aber keine MSE, wenn eine willkürlich kleine Wahrscheinlichkeit für das "Explodieren" des Schätzers besteht. Obwohl dies eine interessante mathematische Neugier ist, sollte Sie dies aus praktischen Gründen nicht stören. Für jeden praktischen Zweck haben Schätzer endliche Unterstützungen und können daher nicht explodieren (die reale Welt ist weder unendlich klein noch groß).

Wenn Sie immer noch auf eine kontinuierliche Approximation der "realen Welt" zurückgreifen möchten und Ihre Approximation so ist, dass sie in der Wahrscheinlichkeit und nicht in der MSE konvergiert, dann nehmen Sie es so, wie es ist: Ihr Schätzer kann mit beliebig großer Wahrscheinlichkeit richtig sein, aber es wird immer eine willkürlich kleine Chance geben, dass es explodiert. Zum Glück werden Sie feststellen, dass Sie ihm sonst vertrauen können. :-)

— JohnRos
quelle

It is my impression that

\hat{θ} = \bar{X} + Z_{n}

$\hat \theta = \bar X + Z_n$ does converge in mean square, since

lim E ({\hat{θ}}^{2}) = 2 a^{2}

$\lim E(\hat \theta^2) = 2a^2$

— Alecos Papadopoulos

The question specifically deals with the interpretation of an estimator that converges in probability and not in MSE (due to a non vanishing variance).

— JohnRos

You're right, I just confused a plus sign with a minus one.

— Alecos Papadopoulos