Bootstrap: das Problem der Überanpassung

Angenommen, man führt den sogenannten nichtparametrischen Bootstrap durch, indem man aus den ursprünglichen Beobachtungen jeweils Stichproben der Größe mit Ersetzung zieht . Ich glaube, dieses Verfahren entspricht der Schätzung der kumulativen Verteilungsfunktion durch das empirische cdf: $B$ $n$ $n$

http://en.wikipedia.org/wiki/Empirical_distribution_function

und dann Erhalten der Bootstrap-Abtastwerte durch Simulieren von Beobachtungen aus den geschätzten cdf Zeiten in einer Reihe. $n$ $B$

Wenn ich damit recht habe, muss man sich mit dem Problem der Überanpassung befassen, da das empirische cdf ungefähr N Parameter hat. Natürlich konvergiert es asymptotisch zur Population cdf, aber was ist mit endlichen Stichproben? Wenn ich Ihnen zum Beispiel sagen würde, dass ich 100 Beobachtungen habe und das cdf mit zwei Parametern als einschätzen würde, wären Sie nicht beunruhigt. Wenn die Anzahl der Parameter jedoch auf 100 steigen würde, wäre dies überhaupt nicht sinnvoll. $N(\mu, \sigma^2)$

Wenn man eine standardmäßige multiple lineare Regression anwendet, wird die Verteilung des Fehlerterms auf geschätzt . Wenn man sich entscheidet, auf das Bootstrapping der Residuen umzusteigen, muss man erkennen, dass es jetzt ungefähr Parameter gibt, die nur dazu verwendet werden, die Verteilung der Fehlerausdrücke zu handhaben. $N(0, \sigma^2)$ $n$

Weisen Sie mich bitte an einige Quellen weiter, die sich ausdrücklich mit diesem Problem befassen, oder erklären Sie mir, warum es kein Problem ist, wenn Sie der Meinung sind, dass ich es falsch verstanden habe.

— James
quelle

Eine Möglichkeit, diesen "nicht parametrischen" Bootstrap zu betrachten, besteht darin, die parametrische Annahme der Normalität in eine "Menge von Interesse" in einer großen, begrenzten Population umzuwandeln (z. B. den Mittelwert einer Aufzeichnungenzählung). Tatsächlich können Sie zeigen, dass diese Version des Bootstraps auf "Maximum Likelihood" -Schätzungen des multinomialen Modells basiert, wobei 1 Kategorie für jeden unterschiedlichen "Typ" in der Grundgesamtheit gilt.

— Wahrscheinlichkeitslogik

Antworten:

Ich bin nicht ganz sicher, ob ich Ihre Frage richtig verstehe. Ich gehe davon aus, dass Sie an der Reihenfolge der Konvergenz interessiert sind.

weil die empirische cdf etwa N parameter hat. Natürlich konvergiert es asymptotisch zur Population cdf, aber was ist mit endlichen Stichproben?

Haben Sie eine der Grundlagen der Bootstrap-Theorie gelesen? Das Problem ist, dass es ziemlich schnell (mathematisch) wild wird.

Auf jeden Fall empfehle ich einen Blick auf

van der Vaart "Asymptotische Statistik" Kapitel 23.

Hall "Bootstrap und Edgeworth Expansions"

für die Grundlagen.

Chernick "Bootstrap Methods" richtet sich eher an Benutzer als an Mathematiker, enthält jedoch einen Abschnitt zum Thema "Wo Bootstrap fehlschlägt".

Der klassische Efron / Tibshirani hat wenig Ahnung, warum Bootstrap tatsächlich funktioniert ...

— BootstrapBill
quelle

$\mathcal{N}(\mu,\sigma^2)$

Das Bootstrapping aus endlichen Stichproben unterschätzt intuitiv die starken Schwänze der zugrunde liegenden Verteilung. Das ist klar, da endliche Samples einen endlichen Bereich haben, selbst wenn der Bereich ihrer wahren Verteilung unendlich ist oder, noch schlimmer, schwere Schwänze hat. Das Verhalten der Bootstrap-Statistik wird also niemals so "wild" sein wie die ursprüngliche Statistik. Ähnlich wie bei der Vermeidung einer Überanpassung aufgrund zu vieler Parameter in der (parametrischen) Regression könnten wir eine Überanpassung vermeiden, indem wir die Normalverteilung mit wenigen Parametern verwenden.

Bearbeiten Sie die Antworten auf die Kommentare: Denken Sie daran, dass Sie nicht den Bootstrap benötigen, um die PDF-Datei zu schätzen. Normalerweise verwenden Sie den Bootstrap, um die Verteilung (im weitesten Sinne einschließlich Quantilen, Momenten, was auch immer benötigt wird) einer Statistik abzurufen. Sie haben also nicht unbedingt ein Überanpassungsproblem (in Bezug auf "die Schätzung aufgrund meiner endlichen Daten sieht zu schön aus im Vergleich zu dem, was ich mit der wahren wilden Verteilung sehen sollte"). Wie sich jedoch herausstellte (nach dem zitierten Aufsatz und dem Kommentar von Frank Harrel weiter unten), ist das Auftreten eines solchen Überpassungsproblems mit Problemen bei der parametrischen Schätzung derselben Statistik verbunden.

Wie Ihre Frage impliziert, ist Bootstrapping kein Allheilmittel gegen Probleme mit der parametrischen Schätzung. Die Hoffnung, dass der Bootstrap bei Parameterproblemen hilft, indem er die gesamte Distribution kontrolliert, ist falsch.

— Horst Grünbusch
quelle

Es ist immer noch unklar, wie Bootstrap funktioniert, da die Anzahl der im Bootstrap enthaltenen effektiven Parameter in etwa der Größe der Stichproben entspricht. Ich habe eine Vermutung: Das ultimative Ziel von Bootstrap ist nicht, die gesamte Distribution zu schätzen, sondern 1-2 Statistiken der Distribution zu schätzen. Trotz der groben Überanpassung der in den Bootstrap eingebetteten empirischen PDF-Datei sind die geschätzten 1-2-Statistiken also in Ordnung. Habe ich das richtig verstanden?

— James

Die Anzahl der effektiven Parameter stimmt nicht mit dem Stichprobenumfang überein. Die Varianz der empirischen kumulativen Verteilungsfunktion entspricht in etwa der Varianz einer parametrischen Anpassung an die Verteilung, wenn für die Verteilung 4 unbekannte Parameter zu schätzen sind. Ein Grund ist, dass die empirischen CDF-Schätzungen in aufsteigender Reihenfolge erfolgen müssen.

— Frank Harrell

Guter Punkt. Könnten Sie eine Referenz angeben?

— James

Ich wünschte ich hätte einen. Ich habe dies in der Vergangenheit durch Monte-Carlo-Simulation gezeigt.

— Frank Harrell

L_{2}

$L_2$

\hat{F} - F

$\hat{F}-F$

\hat{F} (x) - F (x)

$\hat{F}(x)-F(x)$

Eine Quelle der Intuition könnte der Vergleich der Konvergenzraten für parametrische CDFs mit ECDFs für ID-Daten sein.

$n^{-1/2}$

$n^{-1/2}$ $\sigma$ $\mu$

In gewissem Sinne ist die Rate, mit der Sie mehr Stichproben erfassen müssen, gleich, unabhängig davon, ob Sie die CDF mit einer empirischen CDF schätzen oder ob Sie einen Parameter direkt mit einem Stichproben-Mittelwert-Schätzer schätzen. Dies könnte dazu beitragen, Frank Harrells Kommentar zu rechtfertigen: "Die Anzahl der effektiven Parameter entspricht nicht der Stichprobengröße."

Natürlich ist das nicht die ganze Geschichte. Obwohl sich die Raten nicht unterscheiden, sind es die Konstanten. Und der nichtparametrische Bootstrap bietet viel mehr als ECDFs - Sie müssen immer noch Dinge mit dem ECDF tun, wenn Sie es schätzen.

— civilstat
quelle