Wie gut nähert sich Bootstrapping der Stichprobenverteilung eines Schätzers an?

Nachdem ich kürzlich Bootstrap studiert hatte, stellte ich mir eine konzeptionelle Frage, die mich immer noch verwirrt:

Sie haben eine Population und möchten ein Populationsattribut kennen, dh , wobei ich um die Population darzustellen. Dies könnte beispielsweise ein Populationsmittelwert sein. Normalerweise können Sie nicht alle Daten aus der Bevölkerung abrufen. Sie ziehen also eine Stichprobe der Größe aus der Grundgesamtheit. Angenommen, Sie haben der Einfachheit halber iid sample. Dann erhalten Sie Ihre Schätzer . Sie verwenden möchten machen Schlüssen , so dass Sie die Variabilität wissen möchten $\theta=g(P)$ $P$ $\theta$ $X$ $N$ $\hat{\theta}=g(X)$ $\hat{\theta}$ $\theta$ . $\hat{\theta}$

Erstens gibt es eine wahre Stichprobenverteilung von . Konzeptionell könnten Sie viele Stichproben (jede hat die Größe ) aus der Grundgesamtheit ziehen. Jedes Mal haben Sie eine Realisierung von , da jedes Mal haben Sie eine andere Probe. Dann am Ende, werden Sie in der Lage sein , die sich zu erholen wahre Verteilung von . Ok, das zumindest der konzeptuelle Maßstab zur Abschätzung der Verteilung von . Lassen Sie es mich noch einmal wiederholen: Das ultimative Ziel besteht darin, verschiedene Methoden zu verwenden, um die wahre Verteilung von zu schätzen oder zu approximieren $\hat{\theta}$ $N$ $\hat{\theta}=g(X)$ $\hat{\theta}$ $\hat{\theta}$ . $\hat{\theta}$

Nun kommt hier die Frage. Normalerweise haben Sie nur ein Beispiel , das Datenpunkte enthält . Dann sampeln Sie aus dieser Probe viele Male, und Sie werden mit einer Bootstrap - Verteilung kommen . Meine Frage ist: Wie nah ist die Bootstrap - Verteilung an die wahren Verteilung des Stichprobe ? Gibt es eine Möglichkeit, es zu quantifizieren? $X$ $N$ $\hat{\theta}$ $\hat{\theta}$

bootstrap simulation resampling

— KevinKim
quelle

Diese in hohem Maße verwandte Frage enthält eine Fülle zusätzlicher Informationen, die möglicherweise zu einem Duplikat dieser Frage führen.

— Xi'an,

Zunächst danke ich Ihnen allen, dass Sie meine Fragen so schnell beantwortet haben. Dies ist das erste Mal, dass ich diese Website benutze. Ich hätte nie gedacht, dass meine Frage die Aufmerksamkeit eines Menschen auf sich zieht. Ich habe hier eine kleine Frage, was ist "OP"? @ Silverfish

— KevinKim

@Chen Jin: "OP" = Originalplakat (dh du!). Entschuldigungen für die Verwendung einer Abkürzung, die ich akzeptiere, sind möglicherweise verwirrend.

— Silverfish

\hat{θ}

$\hat\theta$

@ Silverfish Vielen Dank. Wenn ich dieses Poster starte, bin ich mir meiner Frage nicht ganz sicher. Dieser neue Titel ist gut.

— KevinKim

Antworten:

In der Informationstheorie ist die Verwendung der KL-Divergenz der typische Weg, um zu quantifizieren, wie nahe eine Verteilung an einer anderen liegt

$\hat \theta$ $\hat \theta$ $\hat \theta$

Hier ist der Datensatz:

Bildbeschreibung hier eingeben

Der wahre Mittelwert liegt bei 7,09 min.

$\hat \theta$

Betrachten wir zum Beispiel zwei Verteilungen mit einer Stichprobengröße von 100 und 5000 Wiederholungen. Wir sehen visuell, dass diese Verteilungen sehr unterschiedlich sind und die KL-Divergenz 0,48 beträgt.

Bildbeschreibung hier eingeben

Wenn wir jedoch die Stichprobengröße auf 1000 erhöhen, beginnen sie zu konvergieren (KL-Divergenz beträgt 0,11).

Bildbeschreibung hier eingeben

Und wenn die Stichprobengröße 5000 ist, sind sie sehr nahe (KL-Divergenz ist 0,01)

Bildbeschreibung hier eingeben

$\hat \theta$ $\hat \theta$

Hier ist der R-Code dieses Experiments: https://gist.github.com/alexeygrigorev/0b97794aea78eee9d794

— Alexey Grigorev
quelle

+1 und dies zeigt auch, dass für jede gegebene Stichprobengröße (wie z. B. 100) die Bootstap-Abweichung groß und unvermeidbar sein kann.

— Amöbe sagt Reinstate Monica

\hat{θ}

$\hat{\theta}$

\hat{θ}

$\hat{\theta}$

N

$N$

N

$N$

B = 10

$B=10$

B = 10000

$B=10000$

\hat{θ}

$\hat{\theta}$

N

$N$

B

$B$

\hat{θ}

$\hat{\theta}$

\hat{θ}

$\hat \theta$

B = 10

$B=10$

B = 10000

$B=10000$

10

$10$

\Rightarrow

$\Rightarrow$

10000

$10000$

F_{5}

$F_5$

5

$5$

5

$5$

F_{B}

$F_B$

F_{B}

$F_B$

{\hat{F}}_{n} (x) = \frac{1}{n} \sum_{i = 1}^{n} I_{X_{i} \leq x} X_{i} \overset{iid}{\sim} F (x)

$\hat{F}_n(x) = \frac{1}{n}\sum_{i=1}^n\mathbb{I}_{X_i\le x}\qquad X_i\stackrel{\text{iid}}{\sim}F(x)$ $n$

F (x)

$F(x)$

x

$x$

\hat{θ} (X_{1}, \dots, X_{n}) = g ({\hat{F}}_{n})

$\hat{\theta}(X_1,\ldots,X_n)=g(\hat{F}_n)$

\sqrt{n}

$\sqrt{n}$

x

$x$

\sqrt{n} {{\hat{F}}_{n} (x) - F (x)} \overset{dist}{⟶} N (0, F (x) [1 - F (x)])

$\sqrt{n}\{\hat{F}_n(x)-F(x)\}\stackrel{\text{dist}}{\longrightarrow}\mathsf{N}(0,F(x)[1-F(x)])$

g ({\hat{F}}_{n})

$g(\hat{F}_n)$

g ({\hat{F}}_{n})

$g(\hat{F}_n)$

Bildbeschreibung hier eingeben $F$ $\hat{F}_n$ $n=100$ $250$ $F$ $\hat{F}_n$

Weiteres Update: So sieht das Röhrenbild aus, wenn man vom empirischen cdf ausgeht: Bildbeschreibung hier eingeben

— Xi'an
quelle

Der Kern dieser Antwort ist, dass der Bootstrap funktioniert, da es sich um eine Annäherung mit großen Stichproben handelt . Ich denke nicht, dass dieser Punkt genug betont wird

— Shadowtalker

Ich meine, "im Allgemeinen oft genug betont"

— Shadowtalker

\hat{F}

$\hat{F}$

n = 100

$n=100$

F

$F$

n

$n$

F

$F$

@ Xi'an Sehr schön! noch schöner wäre es, wenn die 2. und 3. figur zu einer figur zusammengefasst werden

— könnten