Gibt es Asymptotika dritter Ordnung?

14

Die meisten asymptotischen Ergebnisse in Statistiken belegen, dass ein Schätzer (wie der MLE) mit zu einer Normalverteilung konvergiert, die auf einer Taylor-Erweiterung zweiter Ordnung der Wahrscheinlichkeitsfunktion basiert. Ich glaube, es gibt ein ähnliches Ergebnis in der Bayes'schen Literatur, den "Bayes'schen zentralen Grenzwertsatz", der zeigt, dass der Posterior asymptotisch zu einer Normalen wie konvergiert $n \rightarrow \infty$ $n \rightarrow \infty$

Meine Frage ist: Konvergiert die Verteilung "bevor" sie normal wird, basierend auf dem dritten Term in der Taylor-Reihe? Oder ist das überhaupt nicht möglich?

mathematical-statistics asymptotics saddlepoint-approximation

— gabgoh
quelle

(+1) .. gute Frage. Der Bayes'sche zentrale Grenzwertsatz heißt Laplace-Approximation, dh der Posterior verhält sich "mehr oder weniger" wie eine Normalverteilung. (formal posterior konvergiert in der Verteilung zu einer Normalverteilung)

— Suncoolsu

Related: stats.stackexchange.com/questions/191492/…

— kjetil b halvorsen

7

Sie suchen nach der Edgeworth-Serie, nicht wahr?

http://en.wikipedia.org/wiki/Edgeworth_series#Edgeworth_series

(Beachten Sie, dass Edgeworth im Jahr 1926 starb, sollte in den berühmtesten Statistiker sein?)

— Robin Girard
quelle

5

Es ist nicht möglich, dass eine Sequenz zu einer Sache und dann zu einer anderen "konvergiert". Die Terme höherer Ordnung in einer asymptotischen Expansion gehen auf Null. Was sie Ihnen sagen, ist, wie nahe sie für einen gegebenen Wert von bei Null sind . $n$

$n$ $n$ $n^{1/2}$ $m^\text{th}$ $m^\text{th}$ $(n^{1/2})^m = n^{m/2}$ $n$ $m^\text{th}$ $n/n^{m/2} = n^{-(m-2)/2}$ $1/n^{1/2}$ $1/n$ , und so weiter. Dies sind die Terme höherer Ordnung. (Einzelheiten finden Sie beispielsweise in diesem Artikel von Yuval Filmus .)

$n$ $n$ $n$ $n$ $1/n^{1/2}$ $1/n$ Begriff ist eine kleinere, schneller verschwindende Korrektur, die hinzugefügt wird, und so weiter. Kurz gesagt, die zusätzlichen Begriffe geben Ihnen ein Bild davon, wie schnell die Sequenz an ihre Grenzen stößt.

Diese zusätzlichen Terme können uns helfen, Korrekturen für endliche (normalerweise kleine) Werte von vorzunehmen $n$ . Sie tauchen in dieser Hinsicht immer wieder auf, wie beispielsweise Chens Modifikation des t-Tests , bei der die dritte Ordnung ausgenutzt wird ( $1/n^{1/2}$ ) Begriff.

— whuber
quelle

Aus irgendeinem Grund finde ich Ihre Antwort nicht ganz überzeugend. Ich bin damit einverstanden, dass die Verteilung "gedehnt" werden muss und dass es nicht richtig ist zu sagen, dass sie zu X konvergiert, bevor sie zu einer normalen konvergiert. Das wäre ein Fehler von meiner Seite. Dennoch denke ich, dass es eine Möglichkeit geben sollte, die Verteilung so zu skalieren, dass nur die "Momente" vierter Ordnung und darüber gegen Null gehen. Ich muss mir etwas mehr

— überlegen

2

@gabgoh Ich würde gerne mehr darüber erfahren, welche Aspekte der Antwort schwach sind. Was die Skalierung betrifft, stecken Sie fest: Sie haben diese Möglichkeit bereits genutzt, um die Elemente der Sequenz zu standardisieren. Wenn (hypothetisch) irgendeine Form der Skalierung verhindern würde, dass der dritte Moment auf Null geht, dann würden Sie der CLT widersprechen, da die Grenzverteilung nicht normal wäre. Es gibt ein verwandtes Problem mit der Asymptotik von Schätzern. Oft kann ein Schätzer so angepasst werden, dass höhere Momente asymptotisch abgetötet werden (z. B. durch Bootstrapping). Dies kann jedoch nicht allein durch Skalieren erreicht werden.

— Whuber

3

Hier ist ein Versuch, Ihre aufschlussreiche Frage zu beantworten. Ich habe die Einbeziehung des 3. Terms der Taylor-Reihe gesehen, um die Geschwindigkeit der Konvergenz der Reihe zur wahren Verteilung zu erhöhen. Ich habe jedoch (nach meiner begrenzten Erfahrung) die Verwendung von dritten und höheren Momenten nicht gesehen.

Wie John D. Cook in seinen Blogs ( hier und hier ) hervorhob, wurde in dieser Richtung abgesehen vom Berry-Esseen-Theorem nicht viel gearbeitet . Meine Vermutung wäre (aus der Beobachtung im Blog über den Approximationsfehler, der von begrenzt wird) $n^{1/2}$ ), da die asymptotische Normalität von mle mit einer Konvergenzrate von garantiert wird $n^{1/2}$ ( $n$ Wenn höhere Momente berücksichtigt werden, verbessert sich das Normalitätsergebnis nicht.

Daher sollte die Antwort auf Ihre Frage wohl nein sein . Die asymptotische Verteilung konvergiert gegen eine normale Dist. (Nach CLT, unter Regularitätsbedingungen nach Lindberg's CLT). Die Verwendung von Termen höherer Ordnung kann jedoch die Konvergenzrate zur asymptotischen Verteilung erhöhen.

— suncoolsu
quelle

3

Auf jeden Fall nicht meine Gegend, aber ich bin mir ziemlich sicher, dass es Asymptoten dritter und höherer Ordnung gibt. Hilft das?

Robert L. Strawderman. Geordnete Asymptotic Approximation: Laplace, Sattelpunktapproximation und verwandte Methoden Journal of the American Statistical Association Vol. 95, Nr. 452 (Dez. 2000), S. 1358-1364

— ein Stop
quelle