Was sind Beispiele, bei denen ein "naiver Bootstrap" fehlschlägt?

Angenommen, ich habe einen Satz von Beispieldaten aus einer unbekannten oder komplexen Verteilung und möchte einen Rückschluss auf eine Statistik der Daten ziehen. Meine Standardeinstellung besteht darin, nur eine Reihe von Bootstrap-Beispielen mit Ersetzung zu generieren und meine Statistik für jedes Bootstrap-Beispiel zu berechnen , um eine geschätzte Verteilung für zu erstellen . $T$ $T$ $T$

Was sind Beispiele, bei denen dies eine schlechte Idee ist?

Ein Fall, in dem es nicht gelingt, diesen Bootstrap auf einfache Weise durchzuführen, ist beispielsweise, wenn ich versuche, den Bootstrap für Zeitreihendaten zu verwenden (um beispielsweise zu testen, ob ich eine signifikante Autokorrelation habe). Der oben beschriebene naive Bootstrap (Erzeugen des ten Datenpunkts der n-ten Bootstrap-Beispielserie durch Abtasten mit Ersetzen aus meiner Originalserie) wäre (glaube ich) nicht ratsam, da er die Struktur in meiner ursprünglichen Zeitreihe ignoriert, und wir Holen Sie sich ausgefeiltere Bootstrap-Techniken wie den Block-Bootstrap. $i$

Anders ausgedrückt, was hat der Bootstrap außer "Sampling with Replacement"?

hypothesis-testing confidence-interval bootstrap

— raegtin
quelle

Wenn Sie auf den Mittelwert der iid-Daten schließen möchten, ist der Bootstrap ein großartiges Tool. Alles andere ist fraglich und erfordert von Fall zu Fall den Nachweis einer schwachen Konvergenz.

— StasK

Antworten:

Wenn die Menge des Interesses, normalerweise eine Funktion einer Distribution, einigermaßen reibungslos ist und Ihre Daten angezeigt werden, befinden Sie sich normalerweise in einem ziemlich sicheren Gebiet. Natürlich gibt es auch andere Umstände, unter denen der Bootstrap funktioniert.

Was es bedeutet, dass der Bootstrap "fehlschlägt"

Allgemein gesagt besteht der Zweck des Bootstraps darin, eine ungefähre Stichprobenverteilung für die interessierende Statistik zu erstellen. Es geht nicht um eine tatsächliche Schätzung des Parameters. Also, wenn die Statistik von Interesse (unter einer gewissen Neuskalierung und Zentrierung) und in Distribution ist, wir, dass unsere Bootstrap-Distribution auf zur Verteilung von konvergieren . Wenn wir dies nicht haben, können wir den gemachten Schlussfolgerungen nicht vertrauen. $\newcommand{\Xhat}{\hat{X}_n}\Xhat$ $\Xhat \to X_\infty$ $X_\infty$

Das kanonische Beispiel dafür, wann der Bootstrap selbst in einem iid-Framework fehlschlagen kann, ist der Versuch, die Stichprobenverteilung einer Statistik extremer Ordnung zu approximieren. Nachfolgend finden Sie eine kurze Diskussion.

Maximale Ordnungsstatistik einer Zufallsstichprobe aus einer -Verteilung $\;\mathcal{U}[0,\theta]$

Sei eine Folge von gleichförmigen Zufallsvariablen auf . Lassen Sie . Die Verteilung von ist (Beachten Sie, dass dies durch ein sehr einfaches Argument tatsächlich auch zeigt, dass wahrscheinlich ist, und sogar fast sicher , wenn die Zufallsvariablen alle auf demselben Raum definiert sind.) $X_1, X_2, \ldots$ $[0,\theta]$ $\newcommand{\Xmax}{X_{(n)}} \Xmax = \max_{1\leq k \leq n} X_k$ $\Xmax$

P (X_{(n)} \leq x) = (x / θ)^{n} .

$\renewcommand{\Pr}{\mathbb{P}}\Pr(\Xmax \leq x) = (x/\theta)^n \>.$

X_{(n)} \to θ

$\Xmax \to \theta$

Eine Elementarberechnung ergibt oder, mit anderen Worten, konvergiert in der Verteilung zu einer exponentiellen Zufallsvariablen mit dem Mittelwert .

P (n (θ - X_{(n)}) \leq x) = 1 - (1 - \frac{x}{θ n})^{n} \to 1 - e^{- x / θ},

$\Pr( n(\theta - \Xmax) \leq x ) = 1 - \Big(1 - \frac{x}{\theta n}\Big)^n \to 1 - e^{-x/\theta} \>,$

n (θ - X_{(n)})

$n(\theta - \Xmax)$

θ

$\theta$

Nun bilden wir eine (naive) Bootstrap- Schätzung der Verteilung von indem , um und die Verteilung verwenden von abhängig von . $n(\theta - \Xmax)$ $X_1, \ldots, X_n$ $X_1^\star,\ldots,X_n^\star$ $n(\Xmax - \Xmax^\star)$ $X_1,\ldots,X_n$

, dass mit einer Wahrscheinlichkeit von ist und die Bootstrap-Verteilung trotz allem auch asymptotisch eine Punktmasse von Null aufweist die Tatsache, dass die tatsächliche Grenzverteilung kontinuierlich ist. $\Xmax^\star = \Xmax$ $1 - (1-1/n)^n \to 1 - e^{-1}$

Genauer gesagt, obwohl die wahre Grenzverteilung mit dem Mittelwert ; exponentiell ist , platziert die begrenzende Bootstrap-Verteilung eine Punktmasse auf Null der Größe unabhängig vom tatsächlichen Wert von . Indem wir ausreichend groß nehmen, können wir die Wahrscheinlichkeit der wahren Grenzverteilung für jedes feste Intervall beliebig klein machen , aber der Bootstrap wird ( noch !) Melden, dass in diesem Intervall mindestens eine Wahrscheinlichkeit von 0,632 vorliegt! Daraus sollte klar sein, dass sich der Bootstrap in dieser Einstellung beliebig schlecht verhalten kann . $\theta$ $1−e^{-1} \approx 0.632$ $\theta$ $\theta$ $[0,\varepsilon)$

Zusammenfassend lässt sich sagen, dass der Bootstrap in diesem Fall (kläglich) fehlschlägt. Beim Umgang mit Parametern am Rand des Parameterraums kann es zu Fehlern kommen.

Ein Beispiel aus einer Stichprobe von normalen Zufallsvariablen

Es gibt andere ähnliche Beispiele für das Versagen des Bootstraps unter überraschend einfachen Umständen.

Betrachten Sie ein Beispiel aus wobei der Parameterraum für auf . Die MLE ist in diesem Fall . Wir verwenden wieder die Bootstrap-Schätzung . Wiederum kann gezeigt werden, dass die Verteilung von (abhängig von der beobachteten Stichprobe) nicht zur gleichen einschränkenden Verteilung konvergiert wie . $X_1, X_2, \ldots$ $\mathcal{N}(\mu,1)$ $\mu$ $[0,\infty)$ $\newcommand{\Xbar}{\bar{X}}\Xhat = \max(\bar{X},0)$ $\Xhat^\star = \max(\Xbar^\star, 0)$ $\sqrt{n}(\Xhat^\star - \Xhat)$ $\sqrt{n}(\Xhat - \mu)$

Austauschbare Arrays

Vielleicht ist eines der dramatischsten Beispiele für ein austauschbares Array. Sei ein Array von Zufallsvariablen, so dass für jedes Paar Permutationsmatrizen und haben die Arrays und die gleiche gemeinsame Verteilung. Das heißt, das Permutieren von Zeilen und Spalten von hält die Verteilung unveränderlich. (Sie können sich ein bidirektionales Zufallseffektmodell mit einer Beobachtung pro Zelle als Beispiel vorstellen, obwohl das Modell viel allgemeiner ist.) $\newcommand{\bm}[1]{\mathbf{#1}}\bm{Y} = (Y_{ij})$ $\bm{P}$ $\bm{Q}$ $\bm{Y}$ $\bm{P} \bm{Y} \bm{Q}$ $\bm{Y}$

Angenommen, wir möchten ein Konfidenzintervall für den Mittelwert schätzen (aufgrund der oben beschriebenen Austauschbarkeitsannahme für die Mittelwerte aller Zellen müssen gleich sein). $\mu = \mathbb{E}(Y_{ij}) = \mathbb{E}(Y_{11})$

McCullagh (2000) betrachtete zwei verschiedene natürliche (dh naive) Möglichkeiten, ein solches Array zu booten. Keiner von ihnen erhält die asymptotische Varianz für den Stichprobenmittelwert korrekt. Er betrachtet auch einige Beispiele eines austauschbaren Einwegarrays und einer linearen Regression.

Verweise

Leider ist das Thema nicht trivial, so dass keines davon besonders einfach zu lesen ist.

P. Bickel und D. Freedman, Eine asymptotische Theorie für den Bootstrap . Ann. Stat. vol. 9, nein. 6 (1981), 1196–1217.

DWK Andrews, Inkonsistenz des Bootstraps, wenn sich ein Parameter an der Grenze des Parameterraums befindet , Econometrica , vol. 68, nein. 2 (2000), 399–405.

P. McCullagh, Resampling und austauschbare Arrays , Bernoulli , vol. 6, nein. 2 (2000), 285–301.

EL Lehmann und JP Romano, Testing Statistical Hypotheses , 3rd. Hrsg., Springer (2005). [Kapitel 15: Allgemeine Methoden für große Stichproben]

— Kardinal
quelle

Das Verhalten des Bootstraps der Ordnungsstatistik erscheint mir angemessen, da die Exponentialverteilung bei Null eine ähnliche "Punktmasse" aufweist. - Der Modus einer Exponentialverteilung ist 0, daher erscheint es angemessen, dass die Wahrscheinlichkeit bei Null ungleich Null sein sollte höchstwahrscheinlicher Wert! Der Bootstrap wäre wahrscheinlich eher eine geometrische Verteilung, die ein diskretes Analogon des Exponentials ist. Ich würde dies hier nicht als "Fehlschlag" des Bootstraps ansehen - denn die geschätzte Menge von liegt immer im entsprechenden Intervall

θ

$\theta$

θ \geq X_{(n)}

$\theta\geq X_{(n)}$

— Wahrscheinlichkeitsanalyse

@cardinal - Die asymptotische Verteilung ist kein geeigneter Maßstab - es sei denn, Sie haben eine unendliche Stichprobe. Die Bootstrap-Verteilung sollte mit der Verteilung der endlichen Stichproben verglichen werden, die angenähert werden soll. Was Sie zeigen möchten, ist, dass die Bootstrap-Verteilung mit zunehmender Anzahl der Bootstrap-Iterationen gegen die endliche Sampling-Verteilung konvergiert . lassen ist eine Näherungslösung keine exakte ein.

n \to \infty

$n\to\infty$

— Wahrscheinlichkeitsrechnung

@ Kardinal +1, ich habe die Frage schon früher gestellt, möchte mich aber nur für eine sehr gute Antwort, Beispiele und Links zu den Artikeln bedanken.

— mpiktas

@ Wahrscheinlichkeitslogik, natürlich in der allgemeinen Anwendung der asymptotischen Theorie hängt von der Konvergenzrate ab, wenn es langsam ist, dann ist es nicht anwendbar. Sie müssen dann aber nachweisen, dass die Rate langsam ist, da ich vermute, dass Sie beispielsweise bei einer gleichmäßigen Verteilung mit Stichprobengröße 100 auf die beschriebenen Probleme @ cardinal stoßen werden.

— mpiktas

@probabilityislogic, zuerst habe ich nur den letzten Ihrer beiden letzten Kommentare gesehen. Um das erstere anzusprechen, sehen Sie die ersten beiden Sätze des obigen Abschnitts mit der Überschrift "Was es bedeutet, dass der Bootstrap 'fehlschlägt'", wo dies explizit angesprochen wird. Beim Bootstrap geht es nicht darum, den Parameter zu schätzen. Wir gehen davon aus, dass wir eine gute Möglichkeit haben, den gewünschten Parameter abzuschätzen (in diesem Fall funktioniert einwandfrei). Beim Bootstrap geht es darum, etwas über die Verteilung des Parameters zu wissen, damit wir Rückschlüsse ziehen können. Hier bekommt der Bootstrap die Distribution ( sehr! ) Falsch.

X_{(n)}

$X_{(n)}$

— Kardinal

Das folgende Buch enthält ein Kapitel (Kapitel 9) zum Thema "Wenn das Bootstrapping zusammen mit Abhilfemaßnahmen bei Fehlern fehlschlägt":

MR Chernick, Bootstrap-Methoden: Ein Leitfaden für Praktiker und Forscher , 2. Auflage. Hoboken NJ: Wiley-Interscience, 2008.

Die Themen sind:

Zu klein für eine Stichprobengröße
Distributionen mit unendlichen Momenten
Extreme Werte schätzen
Stichprobenerhebung
Datensequenzen , die M- abhängig sind
Instabile autoregressive Prozesse
Langstreckenabhängigkeit

— Sadeghd
quelle

Hast du diesen Kommentar zu einer Antwort in diesem Thread gesehen? Dieser Kommentar verweist übrigens auf eine Amazon-Seite für Chernicks Buch. Die Rezensionen der Leser sind aufschlussreich.

— whuber

@whuber Nun, ich habe diesen Kommentar nicht bemerkt. Soll ich meine Antwort entfernen?

— Sadeghd

Da Ihre Antwort detaillierter ist als der Verweis im Kommentar, hat sie möglicherweise einen Wert: Im Einklang mit den SE-Richtlinien und -Zielen wäre es jedoch schön, wenn Sie eine ausführliche Erläuterung dazu erhalten, warum Sie dieses Buch empfehlen oder - noch besser - - eine Zusammenfassung der Informationen beizufügen. Ansonsten fügt es wenig hinzu und sollte gelöscht oder in einen Kommentar zur Frage umgewandelt werden.

— whuber

Der naive Bootstrap hängt davon ab, dass die Stichprobengröße groß ist, sodass die empirische CDF für die Daten eine gute Annäherung an die "wahre" CDF darstellt. Dies stellt sicher, dass die Stichprobe aus der empirischen CDF der Stichprobe aus der "wahren" CDF sehr ähnlich ist. Der Extremfall ist, wenn Sie nur einen Datenpunkt abgetastet haben - Bootstrapping bringt hier nichts. Es wird mehr und mehr unbrauchbar, wenn es sich diesem entarteten Fall nähert.

Das naive Bootstrapping schlägt in der Zeitreihenanalyse nicht unbedingt fehl (auch wenn es ineffizient sein kann) - wenn Sie die Reihe mit Basisfunktionen der kontinuierlichen Zeit (z. B. legendären Polynomen) für eine Trendkomponente und Sinus- und Cosinusfunktionen der kontinuierlichen Zeit für zyklische Prozesse modellieren Komponenten (plus normaler Rauschfehlerterm). Dann geben Sie einfach an, wann immer Sie zufällig die Wahrscheinlichkeitsfunktion abgetastet haben. Keine Katastrophe für Bootstrapping hier.

Jedes Autokorrelations- oder ARIMA-Modell hat eine Darstellung in diesem Format - dieses Modell ist nur einfacher zu verwenden und ich denke zu verstehen und zu interpretieren (einfach zu verstehende Zyklen in Sinus- und Cosinusfunktionen, schwer zu verstehende Koeffizienten eines ARIMA-Modells). Beispielsweise ist die Autokorrelationsfunktion die inverse Fourier-Transformation des Leistungsspektrums einer Zeitreihe.

— Wahrscheinlichkeitslogik
quelle

@probabilityislogic -1, ich habe die Antwort versehentlich vorhin hochgestuft (ich beschuldige Opera mini), also musste ich sie bearbeiten, um abstimmen zu können. Es tut mir leid, dass ich solche Taktiken angewendet habe. Ich habe dies nur getan, weil mir die Antwort anfangs nicht gefallen hat, aber ich habe nicht dagegen gestimmt, weil ich meine Argumente vorbereiten wollte, die ich im folgenden Kommentar wiedergeben werde.

— mpiktas

@probabilityislogic, für Zeitreihenprozesse spielt die Zeit eine wichtige Rolle, daher unterscheidet sich die Verteilung des Vektors von . Das Resampling wie in naiven Bootstrap getan zerstört diese Struktur, so zum Beispiel , wenn Sie versuchen , AR (1) Modell zu passen, nachdem Resampling Sie vielleicht bekommen , dass Sie versuchen zu passen als , das ist scheint nicht natürlich. Wenn Sie nach "Bootstrapping-Zeitreihen" googeln, finden Sie im zweiten Artikel ein Beispiel für die Schätzung der Varianz von Zeitreihen ...

(X_{t}, X_{t + 1})

$(X_t,X_{t+1})$

(X_{t + 1}, X_{t})

$(X_{t+1},X_t)$

Y_{10}

$Y_{10}$

ρ Y_{15}

$\rho Y_{15}$

— mpiktas

@probabilityislogic, könnten Sie Ihre Idee in Ihrer Antwort auf die naive Bootstrap-Schätzung von im AR (1) -Modell ? Ich denke nicht, dass es möglich ist, daher der Grund für die Ablehnung. Ich würde mich freuen, wenn ich mich geirrt hätte.

ρ

$\rho$

Y_{t} = ρ Y_{t - 1} + u_{t}

$Y_t=\rho Y_{t-1}+u_t$

— mpiktas

@ probabilityislogic, und? Was wird die Schätzung von in diesem Fall sein? Es tut mir leid, dass ich Sie belästige, aber ich verstehe wirklich nicht, wie Sie zeigen können, dass naives Bootstrap in diesem Fall nicht versagt.

r h o

$rho$

— mpiktas

Mein Buch hier enthält ein Kapitel darüber, wann der Bootstrap fehlschlägt, und ein Kapitel darüber, wie der Bootstrap in Zeitreihen angewendet wird. Für Zeitreihen kann der Bootstrap im modellbasierten Ansatz auf Residuen eines Modells angewendet werden. Der andere nichtparametrische Zeitbereichsansatz ist der Block-Bootstrap, für den es viele Typen gibt.

— Michael Chernick