Annahmen bezüglich Bootstrap-Schätzungen der Unsicherheit

Ich schätze die Nützlichkeit des Bootstraps bei der Ermittlung von Unsicherheitsschätzungen, aber eine Sache, die mich immer gestört hat, ist, dass die Verteilung, die diesen Schätzungen entspricht, die von der Stichprobe definierte Verteilung ist. Im Allgemeinen scheint es eine schlechte Idee zu sein, zu glauben, dass unsere Stichprobenhäufigkeiten genau der zugrunde liegenden Verteilung entsprechen. Warum ist es also sinnvoll / akzeptabel, Unsicherheitsschätzungen auf der Grundlage einer Verteilung abzuleiten, bei der die Stichprobenhäufigkeiten die zugrunde liegende Verteilung definieren?

Auf der anderen Seite ist dies möglicherweise nicht schlechter (möglicherweise besser) als andere Verteilungsannahmen, die wir normalerweise treffen, aber ich möchte die Begründung trotzdem ein bisschen besser verstehen.

Es gibt verschiedene Möglichkeiten, wie man den Bootstrap anwenden kann. Die beiden grundlegendsten Ansätze werden als "nichtparametrischer" und "parametrischer" Bootstrap bezeichnet. Die zweite geht davon aus, dass das von Ihnen verwendete Modell (im Wesentlichen) korrekt ist.

$X_1, X_2, \ldots, X_n$$F$$\hat{F}_n(x) = n^{-1} \sum_{i=1}^n \mathbf{1}(X_i \leq x)$

Dvoretzky-Kiefer-Wolfowitz-Ungleichung

Dies zeigt, dass die empirische Verteilungsfunktion mit einer exponentiell hohen Wahrscheinlichkeit gleichmäßig gegen die wahre Verteilungsfunktion konvergiert . Tatsächlich zeigt diese Ungleichung in Verbindung mit dem Borel-Cantelli-Lemma sofort, dass fast sicher .$\sup_{x \in \mathbb{R}} \,|\hat{F}_n(x) - F(x)| \to 0$

Es gibt keine zusätzlichen Bedingungen für die Form von , um diese Konvergenz zu gewährleisten.$F$

Wenn wir heuristisch gesehen an einem funktionellen der Verteilungsfunktion interessiert sind , die glatt ist , dann erwarten wir, dass nahe an .$T(F)$$T(\hat{F}_n)$$T(F)$

(Pointwise) Unvoreingenommenheit von$\hat{F}_n(x)$

Durch einfache Linearität des Erwartungswerts und der Definition von für jedes ,$\hat{F}_n(x)$$x \in \mathbb{R}$

Angenommen, wir interessieren uns für den Mittelwert . Dann erstreckt sich die Unparteilichkeit des empirischen Maßes auf die Unparteilichkeit der linearen Funktionale des empirischen Maßes. Also ist $\mu = T(F)$

Also ist im Durchschnitt korrekt, und da sich schnell nähert , nähert sich (heuristisch schnell .$T(\hat{F}_n)$$\hat{F_n}$$F$$T(\hat{F}_n)$$T(F)$

Um ein Konfidenzintervall zu konstruieren ( worum es im Wesentlichen beim Bootstrap geht ), können wir den zentralen Grenzwertsatz, die Konsistenz empirischer Quantile und die Delta-Methode als Werkzeuge verwenden, um von einfachen linearen Funktionen zu komplexeren Statistiken von Interesse überzugehen .

Gute Referenzen sind

1. B. Efron, Bootstrap-Methoden: Noch ein Blick auf das Klappmesser , Ann. Stat. vol. 7, nein. 1, 1–26.
2. B. Efron und R. Tibshirani, Eine Einführung in die Bootstrap , Chapman-Hall, 1994.
3. GA Young und RL Smith, Grundlagen der statistischen Inferenz , Cambridge University Press, 2005, Kapitel 11 .
4. AW van der Vaart, Asymptotic Statistics , Cambridge University Press, 1998, Kapitel 23 .
5. P. Bickel und D. Freedman, Eine asymptotische Theorie für den Bootstrap . Ann. Stat. vol. 9, nein. 6 (1981), 1196–1217.

Hier ist ein anderer Ansatz, um darüber nachzudenken:

Beginnen Sie mit der Theorie, in der wir die wahre Verteilung kennen, und ermitteln Sie die Eigenschaften der Stichprobenstatistik, indem Sie die wahre Verteilung simulieren. Auf diese Weise entwickelte Gosset die t-Verteilung und den t-Test, indem er aus bekannten Normalen Stichproben entnahm und die Statistik berechnete. Dies ist eigentlich eine Form des parametrischen Bootstraps. Beachten Sie, dass wir simulieren, um das Verhalten der Statistik zu ermitteln (manchmal relativ zu den Parametern).

Was ist, wenn wir die Populationsverteilung nicht kennen, haben wir eine Schätzung der Verteilung in der empirischen Verteilung und können daraus eine Stichprobe ziehen. Anhand der empirischen Verteilung (die bekannt ist) können wir die Beziehung zwischen den Bootstrap-Stichproben und der empirischen Verteilung (der Grundgesamtheit für die Bootstrap-Stichprobe) erkennen. Nun schließen wir, dass die Beziehung zwischen Bootstrap-Stichproben und empirischer Verteilung dieselbe ist wie zwischen Stichprobe und unbekannter Population. Wie gut sich diese Beziehung übersetzt, hängt natürlich davon ab, wie repräsentativ die Stichprobe für die Bevölkerung ist.

Denken Sie daran, dass wir nicht die Mittelwerte der Bootstrap-Stichproben verwenden, um den Populationsmittelwert zu schätzen, sondern den Stichprobenmittelwert dafür (oder für welche Statistik auch immer). Wir verwenden jedoch die Bootstrap-Samples, um die Eigenschaften (Spread, Bias) des Sampling-Prozesses abzuschätzen. Die Verwendung von Stichproben aus einer bekannten Population (von der wir hoffen, dass sie für die interessierende Population repräsentativ ist) zum Erlernen der Auswirkungen der Stichproben ist sinnvoll und weitaus weniger zirkulär.

Der Haupttrick (und Stich) beim Bootstrapping besteht darin, dass es sich um eine asymptotische Theorie handelt: Wenn Sie zunächst eine unendliche Stichprobe haben, wird die empirische Verteilung der tatsächlichen Verteilung so nahe kommen, dass der Unterschied vernachlässigbar ist.

Leider wird Bootstrapping häufig bei kleinen Stichproben angewendet. Das übliche Gefühl ist, dass Bootstrapping in einigen nicht asymptotischen Situationen funktioniert, aber seien Sie trotzdem vorsichtig. Wenn Ihre Stichprobengröße zu klein ist, arbeiten Sie in der Tat unter der Bedingung, dass Ihre Stichprobe eine „gute Darstellung“ der wahren Verteilung ist, was sehr leicht zu kreisförmigen Überlegungen führt :-)

Ich würde nicht aus der Perspektive von "asymptotisch, die empirische Verteilung wird in der Nähe der tatsächlichen Verteilung" (was natürlich sehr wahr ist) argumentieren, sondern aus einer "langfristigen Perspektive". Mit anderen Worten, in einem bestimmten Fall die empirische Verteilung von Bootstrapping abgeleitet wird ausgeschaltet sein (verschoben manchmal zu weit diese Weise verschoben manchmal zu weit , dass die Art und Weise, manchmal zu so verzerrt, manchmal auch so verzerrt), aber im Durchschnitt es wird eine gute Annäherung an die tatsächliche Verteilung sein. In ähnlicher Weise sind Ihre aus der Bootstrap-Verteilung abgeleiteten Unsicherheitsschätzungen in jedem bestimmten Fall nicht korrekt, aber auch hier sind sie im Durchschnitt (ungefähr) richtig.