Wie interpretiere ich Bootstrap?

Ich bin ein echter Neuling, wenn es um Statistik geht, also beurteilen Sie mich und meine Frage bitte nicht;)

Ich mache eine lineare Regressionsanalyse mit SPSS und da meine Daten weder normal verteilt sind noch Homoskedastizität aufweisen, habe ich mich für Bootstrapping entschieden.

Jetzt bin ich wirklich verwirrt, wenn es um die Interpretation der Ausgabe geht. SPSS bietet mir die "normale" Modellzusammenfassung und die Koeffizienten sowie die Bootstrap-Zusammenfassung und die Bootstrap-Koeffizienten. Interpretiere ich jetzt nur den Bootstrap-Teil? Oder ist der F-Wert zum Beispiel immer noch relevant, was bedeutet, dass ich, wenn F nicht signifikant ist, das Bootstrap-Intervall auch nicht interpretieren kann, obwohl es signifikant ist?

Die intuitive Idee hinter dem Bootstrap lautet: Wenn Ihr ursprünglicher Datensatz eine zufällige Ziehung aus der Gesamtpopulation war, wenn Sie eine Teilstichprobe aus der Stichprobe (mit Ersetzung) entnehmen, entspricht dies ebenfalls einer Ziehung aus der Gesamtpopulation. Sie können dann Ihr Modell für alle diese Bootstrap-Datasets schätzen. Dies gibt Ihnen eine große Anzahl von Schätzungen und Sie können beispielsweise die Standardabweichungen Ihrer Schätzungen betrachten - es stellt sich heraus, dass dies häufig eine gute Schätzung des Standardfehlers der Schätzungen ergibt. Tatsächlich kann der Standardfehler der Schätzungen genau so betrachtet werden, wenn Sie die vielen Datensätze aus der tatsächlichen Grundgesamtheit entnehmen.

Angenommen, Ihr Datensatz enthält einen Ausreißer: In vielen Ihrer Bootstrap-Datensätze ist diese Beobachtung nicht enthalten, und für diese Datensätze ändern sich die geschätzten Koeffizienten um ein Vielfaches.

Ebenso können Sie die F-Statistik für jedes der Bootstrap-Datasets anzeigen. Sie können beispielsweise sehen, wie oft das Modell abgelehnt wurde. Aber ich bin mit SPSS nicht ausreichend vertraut, um zu wissen, was es als F-Statistik meldet: Ist es die durchschnittliche F-Statistik?

Wie @Superpronker erwähnte, hängt es wirklich davon ab, was SPSS mit dem Bootstrap macht. Das Einbeziehen Ihres Codes und der Ausgabe würde sehr helfen. Auch der Bootstrap ist ein Thema mit einer großen Menge an Literatur. Sie können dies sehen, indem Sie einfach die Bibliographie in meiner 2007 von Wiley veröffentlichten Ausgabe von Bootstrap Methods betrachten. Ich denke, Sie brauchen wirklich auch mindestens ein grundlegendes Tutorial zum Bootstrap. Manchmal hilft es, wenn man zu Wikipedia geht.

In der Regression gibt es verschiedene Möglichkeiten, mit Problemen wie Heteroskedastizität und Nicht-Normalität umzugehen. Wenn der F-Test, auf den Sie sich beziehen, von der OLS-Lösung zur linearen Regression stammt, bei der Normalität und Homoskedastizität ignoriert werden, und mit Nicht-Signifikanz gemeint ist, dass der F-Test Ihnen nicht sagen kann, dass sich einer der Regressionskoeffizienten von 0 unterscheidet sei es, dass du es einfach ignorieren und einen anderen Ansatz anwenden solltest.

Der Bootstrap kann ein Ansatz sein, um das Problem zu lösen. Bei der Regression gibt es zwei gängige Bootstrap-Ansätze. Einer wird als Bootstrapping-Residuen und der andere als Bootstrapping-Vektoren bezeichnet . Sie sollten herausfinden wollen, welches SPSS verwendet. Es gibt einige Literatur, die besagt, dass Bootstrapping-Vektoren in dem Sinne robuster sind, dass weniger Annahmen erforderlich sind. Der Vektor ist die Menge der beobachteten Werte von$(Y, X_1, X_2, \ldots, X_k)$ wo $Y$ ist die abhängige Variable und die $X_j$ sind die $k$Prädiktorvariablen in Ihrem Modell. Aus Ihrer Problembeschreibung wissen wir nicht, ob$k$ ist $1$ oder $>1$. Für jedes$j$ es ist verbunden mit $X_j$ ein Regressionsparameter $b_j$ das wird geschätzt.

Die Bootstrapping-Residuen-Methode verwendet die$n$ Residuen, wo $n$ist Ihre Stichprobengröße und wird mit Ersatz aus diesem Satz von Residuen abgetastet. Im Computerprogramm erfolgt dies nach der Monte-Carlo-Methode.

Das Modell ist $Y=b_1 X_1 + b_2 X_2 + \ldots + b_k X_k +e$ wo $e$ist ein Fehlerbegriff. Sie erhalten zunächst n Residuen, indem Sie nehmen$y_i - \hat{b}_1 x_{1i} - \hat{b}_2 x_{2i}- \ldots -\hat{b}_k x_{ki}$ zu sein $i$th Rest. Hier$\hat{b}_j$ bezeichnet die Schätzung des Regressionsparameters $b_j$. Wir verwenden die Notation$y_i$ und $x_{ji}$ die $i$Der beobachtete Wert der abhängigen Variablen und der $i$th beobachteten Wert der $j$jeweils die Prädiktorvariable.

Da dies kompliziert wird, schlage ich vor, dass Sie sich eine Referenz zu Bootstrapping-Residuen ansehen. Der Chapman and Hall-Text von 1993 von Efron und Tibshirani ist eine Möglichkeit. Das Endergebnis sind Bootstrap-Verteilungen für jeden Regressionsparameter, und eines von mehreren möglichen Bootstrap-Konfidenzintervallen könnte verwendet werden. Die Perzentilmethode von Efron ist die wahrscheinlichste Möglichkeit. Wenn das Konfidenzintervall nicht 0 enthält, wird der Regressionsparameter als signifikant angesehen.

Als kurze Zusammenfassung wird der allgemeine Bootstrap in SPSS Statistics in der Hilfe beschrieben.

Die einfache Methode ist das Resampling von Fällen mit Ersetzung aus dem Originaldatensatz. Bei der geschichteten Methode handelt es sich um ein Fall-Resampling mit Ersetzung aus dem ursprünglichen Datensatz innerhalb der Schichten, die durch die Kreuzklassifizierung von Schichtvariablen definiert sind.

Einige Verfahren haben andere Optionen.

Das online verfügbare Algorithmus-Handbuch enthält Details zu Jackknife-, Case-, Stratified-, Residual- und Wild-Resampling.

In Bezug auf die ursprüngliche Frage des Benutzers lautet die Frage "Meine Daten sind weder normal verteilt noch zeigen sie Homoskedastizität", was ein Missverständnis darüber widerspiegeln könnte, was die Normalitätsannahme bei der Regression bedeutet. Es geht um den Fehlerterm, nicht um die Variablen in der Gleichung.

Und eine Frage an Michael: Ihre Bücher über Bootstrapping kosten bei Amazon für Kindle zwischen 107 und 237 Dollar! Warum? Ich würde gerne eines davon lesen, aber die Kosten sind phänomenal. Leider habe ich keine gute Bibliothek als Alternative zum Kauf.