Wann ist die Bootstrap-Schätzung des Bias gültig?

31

Es wird oft behauptet, dass Bootstrapping eine Schätzung der Abweichung in einem Schätzer liefern kann.

Wenn die Schätzung für eine Statistik ist und die Bootstrap-Repliken sind (mit ), dann ist die Bootstrap-Schätzung der Verzerrung was extrem einfach und mächtig erscheint, bis es beunruhigend ist. $\hat t$ $\tilde t_i$ $i\in\{1,\cdots,N\}$

{b i a s}_{t} \approx \frac{1}{N} \sum_{i} {\tilde{t}}_{i} - \hat{t}

$\begin{equation} \mathrm{bias}_t \approx \frac{1}{N}\sum_i \tilde{t}_i-\hat t \end{equation}$

Ich kann nicht verstehen, wie dies möglich ist, ohne dass ich bereits einen unvoreingenommenen Schätzer für die Statistik habe. Wenn mein Schätzer beispielsweise einfach eine von den Beobachtungen unabhängige Konstante zurückgibt, ist die obige Schätzung der Verzerrung eindeutig ungültig.

Obwohl dieses Beispiel pathologisch ist, kann ich die vernünftigen Annahmen über den Schätzer und die Verteilungen, die garantieren, dass die Bootstrap-Schätzung vernünftig ist, nicht sehen.

Ich habe versucht, die formalen Verweise zu lesen, bin aber weder Statistiker noch Mathematiker, daher wurde nichts geklärt.

Kann jemand eine allgemeine Zusammenfassung darüber geben, wann die Schätzung voraussichtlich gültig sein wird? Wenn Sie gute Referenzen zu diesem Thema kennen, wäre das auch großartig.

Bearbeiten:

Die Glätte des Schätzers wird oft als Voraussetzung für das Funktionieren des Bootstraps angegeben. Könnte es sein, dass man auch eine Art lokale Invertierbarkeit der Transformation benötigt? Die konstante Karte befriedigt das eindeutig nicht.

bootstrap bias

— Bootstrapped
quelle

2

Ein Konstantenschätzer ist ein unverzerrter Schätzer dieser Konstanten, so dass es natürlich ist, dass der Bootstrap-Schätzer der Vorspannung Null ist.

— Xi'an

4

Das Problem, das Sie beschreiben, ist ein Interpretationsproblem, nicht eines der Gültigkeit. Die Bootstrap-Bias-Schätzung für Ihren konstanten Schätzer ist nicht ungültig, sondern perfekt.

Die Bootstrap-Schätzung der Vorspannung liegt zwischen einem Schätzer und einem Parameter wobei eine unbekannte Verteilung ist und eine Stichprobe von . Die Funktion könnte man prinzipiell berechnen, wenn man die Bevölkerung zur Hand hätte. Einige Male , die wir nehmen die Plug-in - Schätzung von die empirische Verteilung unter Verwendung an der Stelle von . Dies ist vermutlich das, was Sie oben beschrieben haben. In allen Fällen ist die Bootstrap-Schätzung der Verzerrung wobei $\hat\theta = s(x)$ $\theta = t(F),$ $F$ $x$ $F$ $t(F)$ $s(x) = t(\hat F),$ $t(F)$ $\hat F$ $F$

{b i a s}_{\hat{F}} = E_{\hat{F}} [s (x^{*})] - t (\hat{F}),

$\mathrm{bias}_{\hat F} = E_{\hat F}[s(x^*)] - t(\hat F),$

x^{*}

$x^*$ sind Bootstrap-Beispiele von .

x

$x$

Die Konstante ist eine perfekte Plug-in-Schätzung für dieselbe Konstante: $c$ Die Population ist und die Stichprobe , die empirische Verteilung, die sich . Wenn Sie auswerten könnten , würden Sie . Wenn Sie die Plug-In-Schätzung berechnen, erhalten Sie auch . Keine Vorurteile, wie Sie es erwarten würden. $\sim F$ $\sim \hat F$ $F$ $t(F) = c$ $c$ $t(\hat F) = c$ $c$

Ein bekannter Fall, in dem die Plug-In-Schätzung eine Verzerrung aufweist, ist die Schätzung der Varianz, daher die Bessel-Korrektur. Unten zeige ich dies. Die Bootstrap-Bias-Schätzung ist nicht schlecht: $t(\hat F)$

library(plyr)

n <- 20
data <- rnorm(n, 0, 1)

variance <- sum((data - mean(data))^2)/n

boots <- raply(1000, {
  data_b <- sample(data, n, replace=T)
  sum((data_b - mean(data_b))^2)/n
})

# estimated bias
mean(boots) - variance 
#> [1] -0.06504726

# true bias:
((n-1)/n)*1 -1
#> [1] -0.05

Wir könnten stattdessen als Populationsmittelwert und annehmen. In den meisten Fällen sollte eine eindeutige Verzerrung vorliegen: $t(F)$ $s(x) = c$

library(plyr)

mu <- 3
a_constant <- 1

n <- 20
data <- rnorm(n, mu, 1)

boots <- raply(1000, {
  # not necessary as we will ignore the data, but let's do it on principle
  data_b <- sample(data, n, replace=T)

  a_constant
})

# estimated bias
mean(boots) - mean(data) 
#> [1] -1.964877

# true bias is clearly -2

Auch hier ist die Bootstrap-Schätzung nicht schlecht.

— einar
quelle

Ich habe diese Antwort hinzugefügt, da die anderen Antworten davon auszugehen scheinen, dass es ein Problem ist, dass die Bootstrap-Schätzung der Verzerrung 0 ist, wenn eine Konstante ist. Ich glaube es nicht.

t

$t$

— Einar

Ich mag Ihre Antwort und Ihre Demo, aber ich glaube nicht, dass Ihre Definition korrekt ist. "Die Bootstrap-Schätzung der Verzerrung ist eine Schätzung der Verzerrung zwischen einer Funktion Ihrer Stichprobe und derselben Funktion, die in der Grundgesamtheit ausgewertet wird." Während das, was Sie schreiben, genau definiert ist, gibt es bei dieser Definition keine Möglichkeit, den Bootstrap zum Schätzen der Abweichung von z. B. der Stichprobenvarianz als Schätzer für die Populationsvarianz zu verwenden.

— DavidR

@DavidR Du hast recht, danke für deine Kommentare. Ich habe die Antwort aktualisiert.

— Einar

Ich mag diesen Artikel sehr! Meine einzige Frage ist über "Bootstrap-Schätzung der Verzerrung". Ich denke, was Sie geschrieben haben, ist die tatsächliche Verzerrung des Schätzers (aber für die empirische Verteilung und nicht für die wahre Verteilung), da Sie eine Erwartung über Bootstrap-Samples haben. Ich denke der Bootstrap Estimator wäre eine endliche Summe über B Bootstrap Samples?

— DavidR

1

@ DavidR Ich bin froh, dass du das tust! Was ich berichte, ist technisch die Bootstrap-Schätzung der Verzerrung (weil Sie anstelle von und die Bootstrap-Erwartung von anstelle ihrer Erwartung über ). Aber in den meisten praktischen Anwendungen ist umsetzbar, und wir nähern es uns, wie Sie sagen, Monte Carlo an.

t (\hat{F})

$t(\hat F)$

θ

$\theta$

s ()

$s()$

F

$F$

E_{\hat{F}} [s (x^{*})]

$E_{\hat F}[s(x^*)]$

— Einar

3

Sie machen einen Fehler und vielleicht ist das der Grund, warum es verwirrend ist. Du sagst:

Wenn mein Schätzer einfach eine Konstante zurückgibt, die von den Beobachtungen unabhängig ist, ist die obige Schätzung der Verzerrung eindeutig ungültig

Bei Bootstrap geht es nicht darum, wie stark Ihre Methode verzerrt ist, sondern wie stark Ihre Ergebnisse von einer Funktion erzielt werden, wenn Ihre Daten verzerrt sind.

Wenn Sie eine geeignete statistische Methode zur Analyse Ihrer Daten auswählen und alle Annahmen dieser Methode erfüllt sind und Ihre Berechnungen korrekt durchgeführt haben, sollte Ihre statistische Methode die "bestmögliche" Schätzung liefern, die mit Ihren Daten erzielt werden kann .

Die Idee von Bootstrap ist, aus Ihren Daten die gleiche Art und Weise abzutasten, wie Sie Ihre Fälle aus der Population abgetastet haben - es ist also eine Art Replikation Ihrer Abtastung. Auf diese Weise können Sie eine ungefähre Verteilung Ihres Werts (mithilfe von Efrons-Wörtern) erhalten und somit eine Verzerrung Ihrer Schätzung beurteilen.

Ich behaupte jedoch, dass Ihr Beispiel irreführend ist und daher nicht das beste Beispiel für die Erörterung von Bootstrap ist. Da es auf beiden Seiten Missverständnisse gab, lassen Sie mich meine Antwort aktualisieren und formeller schreiben, um meinen Standpunkt zu verdeutlichen.

Die Neigung, dass eine Schätzung des wahren Werts ist, ist definiert als: $\hat{\theta}$ $\theta$

bias ({\hat{θ}}_{n}) = E_{θ} ({\hat{θ}}_{n}) - θ

$\text{bias}(\hat{\theta}_n) = \mathbb{E}_\theta(\hat{\theta}_n) - \theta$

woher:

{\hat{θ}}_{n} = g (x_{1}, x_{2}, . . ., x_{n})

$\hat{\theta}_n = g(x_1,x_2,...,x_n)$

Dabei ist der Schätzer. $g(\cdot)$

Wie Larry Wasserman in seinem Buch "All the Statistics" feststellt :

Eine vernünftige Anforderung für einen Schätzer ist, dass er sich dem wahren Parameterwert annähert, wenn wir immer mehr Daten erfassen. Diese Anforderung wird durch die folgende Definition quantifiziert:
6.7 Definition. Ein Punktschätzer eines Parameters ist konsistent, wenn . $\hat{\theta}_n$ $\theta$ $\hat{\theta}_n \overset{P}{\rightarrow} \theta$

Ein konstanter Schätzer, der eine konstante Funktion von : ist , erfüllt diese Anforderung nicht, da er unabhängig von Daten ist und eine wachsende Anzahl von Beobachtungen ihn nicht dazu bringen würde, sich dem wahren Wert (außer durch reines Glück oder Haben) sehr solide a priori Annahmen über es, dass ; $x$ $g(X) = \lambda$ $\theta$ $\lambda$ $\lambda = \theta$

Der konstante Schätzer erfüllt nicht die Grundvoraussetzung, um ein vernünftiger Schätzer zu sein, und daher ist es unmöglich, seinen Bias zu schätzen, da sich nicht annähert, selbst wenn . Es ist unmöglich, dies mit Bootstrap und einer anderen Methode zu tun, daher ist dies mit Bootstrap kein Problem. $\hat{\theta}_n$ $\theta$ $n \rightarrow \infty$

— Tim
quelle

5

Ich fürchte, diese Antwort scheint für Verwirrung zu sorgen. Ein konstanter Schätzer ist nach den meisten Definitionen ein Schätzer - und in manchen Fällen sogar ein zulässiger. Ihre Frage verwechselt Stichprobenfehler mit Schätzfehlern, die fast alle Leser verwirren werden. Ihr Absatz über die "bestmögliche Schätzung" ist schön, wirft jedoch die grundlegende Frage auf, wie "am besten" gemessen werden kann. Bias ist nur eine Komponente davon (wenn überhaupt).

— whuber

Ich bin zwar nicht qualifiziert genug, um auf OP zu antworten, aber ich fürchte, Whuber hat Recht. Ist es auch gültig, Bevölkerung als Schätzer zu bezeichnen? Bezogen auf den letzten Satz, denke ich, liefert Boostrap eine Schätzung der Verzerrung des zu analysierenden Schätzers und nicht der Stichprobenmethode.

— mugen

Ich verstehe, dass Bootstrapping keine systematischen Fehler erkennen kann, aber zumindest in gewissem Umfang statistische Verzerrungen erkennen soll. Ich nehme an, es geht um die Subtilität bei der Unterscheidung zwischen den beiden, aber das ist mir immer noch unklar. Sie sprechen anscheinend von einem Voreingenommenheitsbegriff, von dem ich noch nie gehört habe - nicht vom Schätzer, sondern von den Daten. Was ist die formale Definition dieses Vorurteils?

— Bootstrapped

3

Es gibt definitiv ein Missverständnis: Tim, Sie verwenden "Estimator" oder "Bias" nicht auf eine Weise, die für den in dieser Frage festgelegten Kontext üblich ist, während dies bei Bootstrapped der Fall ist. Darüber hinaus ist es falsch, dass der Bootstrap systematische Fehler erkennt und diese im Zusammenhang mit der Schätzung falsch mit "Bias" gleichsetzt. Auch in der Antwort bleiben verschiedene Fehler. Zum Beispiel kann die Vorspannung einer konstanten Schätzer (gleich, sagen wir, auf ) eines Parameters ist definitions . Bitte konsultieren Sie Referenzen .

λ

$\lambda$

θ

$\theta$

λ - θ

$\lambda-\theta$

— whuber

8

Es ist interessant, dass Sie das Problem der Konsistenz in Ihrer Bearbeitung ansprechen. Es könnte amüsant sein - und vielleicht sogar ein wenig zum Nachdenken anregen -, über den Schätzer nachzudenken, der gleich sofern und andernfalls der Schätzer für die maximale Wahrscheinlichkeit ist. Obwohl dies konsistent ist, leidet es an dem vom OP angezeigten Problem. Da es sich bei diesem Thread um charakteristische Bedingungen handelt, die sicherstellen würden, dass "die Bootstrap-Schätzung angemessen ist", scheint es aus diesem Beispiel, dass die Konsistenz nicht unter diesen Bedingungen liegt, noch ist es ein relevantes Konzept.

\hat{θ}

$\hat\theta$

0

$0$

n < 10^{100}

$n\lt 10^{100}$

— whuber

3

Ich denke, deine Formel ist falsch. Das letzte sollte einen Stern anstelle eines Hutes haben: $t$

{b i a s}_{t} \approx \frac{1}{N} \sum_{i} {\tilde{t}}_{i} - t^{*}

$\begin{equation} \mathrm{bias}_t \approx \frac{1}{N}\sum_i \tilde{t}_i- t^* \end{equation}$

Sie möchten die tatsächliche Statistik verwenden, die für die empirische Verteilung ausgewertet wird (dies ist häufig einfach, da die ursprüngliche Stichprobe eine endliche Menge ist), und nicht die Schätzung. In einigen Fällen können diese identisch sein (z. B. ist der empirische Mittelwert derselbe wie der Stichprobenmittelwert), dies wird jedoch im Allgemeinen nicht der Fall sein. Sie gaben einen Fall an, in dem sie unterschiedlich sind, aber ein weniger pathologisches Beispiel ist der übliche unverzerrte Schätzer für die Varianz, der nicht der Populationsvarianz entspricht, wenn er auf eine endliche Verteilung angewendet wird.

Wenn die Statistik für die empirische Verteilung keinen Sinn ergibt (z. B. wenn sie eine kontinuierliche Verteilung voraussetzt), sollten Sie Vanille-Bootstrapping nicht verwenden. Sie können die empirische Verteilung durch eine Schätzung der Kerneldichte (Smooth Bootstrap) ersetzen. Wenn Sie wissen, dass die ursprüngliche Verteilung in einer bestimmten Familie liegt, können Sie die empirische Verteilung durch die höchstwahrscheinliche Schätzung dieser Familie ersetzen (parametrischer Bootstrap). $t$

TL / DR: Die Bootstrap-Methode ist nicht magisch. Um eine unvoreingenommene Schätzung der Verzerrung zu erhalten, müssen Sie in der Lage sein, den interessierenden Parameter genau auf einer endlichen Verteilung zu berechnen.

— Evan Wright
quelle

1

Ich bin mir nicht sicher, was Ihre Notation bedeutet. Nach diesen Vorlesungsnotizen von Pete Hall (UC Davis), diesen Vorlesungsnotizen von Cosma Shalizi (CMU) und dieser Seite von Efrons und Tibshiranis Buch scheint darauf hinzudeuten, dass das, was ich habe, nicht falsch ist, nur nicht ganz allgemein (dh ich Ich verwende hier den Plug-in-Schätzer, aber das ist nicht erforderlich.

— Bootstrapped

Efron und Tibshirani geben dieselbe Formel wie ich mit einer anderen Notation an. Pete Hall scheint davon auszugehen, dass : Auf Seite 11 ersetzt er (was ich ohne Kommentar durch . Cosma Shalizis Diskussion der Drehpunkte in Abschnitt 2.2 scheint auch implizit davon ausgehen , dass der tatsächliche Wert ist auf der empirischen Verteilung ( ) ich denke , dass alle Ihre Verwirrung wird durch Schlamperei in diesem Skriptum nur verursacht..

t^{*} = \hat{t}

$t^* = \hat t$

θ (F_{1})

$\theta(F_1)$

t^{*}

$t^*$

\hat{θ}

$\hat \theta$

\hat{t}

$\hat t$

t

$t$

t^{*}

$t^*$

— Evan Wright

Fair genug, aber ich denke nicht, dass die Notation das Problem löst oder die Frage anspricht. Insbesondere weiß ich, dass der konstante Schätzer ausfallen muss (Bootstrap ist nicht magisch). Das Beispiel der Varianz funktioniert auch dann, wenn wir annehmen, dass (dh die Bootstrap-Bias-Schätzung funktioniert). Was ist mit anderen Schätzern für andere Statistiken? Welche Bedingungen sind ausreichend, damit die Bootstrap-Bias-Schätzung funktioniert? Wie verletzt der Konstantenschätzer diese Bedingungen?

t^{*} = \hat{t}

$t^*=\hat t$

— Bootstrapped

1

Das ist mein Punkt: Diese feste Version gibt auch für den konstanten Schätzer die richtige Antwort. Angenommen, Sie versuchen, den Populationsmittelwert zu schätzen, wählen jedoch einen Schätzer, der immer 0 errät. Dann ist der tatsächliche Mittelwert der Stichprobe und nicht 0. Als wird also die Bias-Schätzung verwendet Geht zu minus dem Stichprobenmittelwert, der angemessen ist und einen erwarteten Wert aufweist, der dem tatsächlichen Bias entspricht.

t^{*}

$t^*$

N \to \infty

$N \to \infty$

— Evan Wright

Dann verstehe ich die Definition von anscheinend nicht ganz . Die Definition in Efron und Tibshirani (auf der Seite, auf die ich oben verweise) scheint zu implizieren, dass es sich um die Einschätzung handelt, die auf der empirischen Verteilung basiert, aber die operative Bedeutung davon ist mir entgangen. Angenommen, ich habe einige hochdimensionale Daten, die ich an eine nichtlineare Funktion anpassen möchte, und ich möchte wissen, ob meine Schätzung der nichtlinearen Funktionsparameter verzerrt ist oder nicht. Was ist in diesem Fall ? Die Definition von scheint mir klar zu sein, aber ist nebulös.

t^{*}

$t^*$

t^{*}

$t^*$

{\tilde{t}}_{i}

$\tilde t_i$

t^{*}

$t^*$

— Bootstrapped

0

Ich finde es nützlich, über die Bootstrap-Prozeduren in Bezug auf die Funktionen der Distributionen nachzudenken, auf denen sie ausgeführt werden. In dieser Antwort habe ich ein Beispiel für eine andere Bootstrap-Frage gegeben.

Die Schätzung, die Sie gegeben haben, ist das, was es ist - eine Schätzung. Niemand sagt, dass es keine Probleme mit statistischen Schätzungen gibt. Sie erhalten zum Beispiel eine Nicht-Null-Schätzung der Verzerrung für den Stichprobenmittelwert, von der wir alle wissen, dass sie zunächst unbefangen ist. Ein Problem bei diesem Verzerrungsschätzer ist, dass er unter einer Stichprobenvariabilität leidet, wenn der Bootstrap als Monte Carlo implementiert ist, und nicht unter einer vollständigen Aufzählung aller möglichen Teilstichproben (und niemandem, der diesen theoretischen Bootstrap in der Praxis sowieso hat).

Daher ist eine Monte-Carlo-Implementierung des Bootstraps nicht fixierbar, und Sie müssen ein anderes Bootstrap-Schema verwenden. Davison et. al. (1986) haben gezeigt, wie ein anderes Bootstrap-Schema erstellt wird, das die Zufallsziehung einschränkt, um ausgeglichene Stichproben zu erhalten: Wenn Sie Bootstrap-Replikate erstellen , muss jedes der ursprünglichen Elemente genau mal für das Gleichgewicht erster Ordnung verwendet werden. (Das Gleichgewicht zweiter Ordnung, das für die zweiten Momente der Schätzer besser funktioniert, wird von Graham et al. (1990) weiter diskutiert .) $B$ $B$

— StasK
quelle

7

Ich denke, die ursprüngliche Frage von Bootstrapped ist orthogonal zum Thema der Monte-Carlo-Variabilität. Selbst wenn wir die Anzahl der Bootstrap-Replikationen auf unendlich setzen, gibt die Formel in der Frage eine Schätzung von Null für die Abweichung eines konstanten Schätzers und eine Schätzung ungleich Null für die Abweichung der üblichen unverzerrten Abweichungsschätzung an.

— Evan Wright