Sandwich Estimator Intuition

Wikipedia und die Vignette des R-Sandwich-Pakets geben gute Informationen über die Annahmen, die OLS-Koeffizienten-Standardfehler stützen, und den mathematischen Hintergrund der Sandwich-Schätzer. Ich bin mir immer noch nicht sicher, wie das Problem der heteroskedastischen Residuen angegangen wird, wahrscheinlich, weil ich die Standard-Varianzschätzung der OLS-Koeffizienten überhaupt nicht vollständig verstehe.

Was ist die Intuition hinter dem Sandwich Estimator?

— Robert Kubrick
quelle

Sie müssen mehr über die Schätzung (oder die Extremwertschätzung, wie sie in der Ökonometrie manchmal genannt wird) lernen . Der Sandwich-Schätzer für die Regression ist nur ein Sonderfall einer sehr allgemeinen Delta-Formel, und wenn Sie die letztere verstehen, werden Sie keine Probleme mit der ersteren haben. Es ist nicht zu übersehen, dass der Sandwich-Schätzer nicht versucht, die Heteroskedastizität zu modellieren oder etwas Spezifisches dagegen zu tun. Es ist nur ein anderer Varianzschätzer, der unter allgemeineren Annahmen als der Standard-OLS-Schätzer funktioniert.

M

$M$

— StasK

@StasK Danke! Kennen Sie eine besonders gute Ressource für M-Schätz- und Delta-Methodenformeln?

— Robert Kubrick

Sehenswert ist die Monographie "Robust Statistics" von Robert Huber.

— Momo

Bei OLS können Sie sich vorstellen, dass Sie die geschätzte Varianz der Residuen (unter der Annahme von Unabhängigkeit und Homoskedastizität) als Schätzung für die bedingte Varianz der s verwenden. Im Sandwich-basierten Schätzer verwenden Sie die beobachteten quadratischen Residuen als Plug-in-Schätzung derselben Varianz, die zwischen den Beobachtungen variieren kann. $Y_i$

var (\hat{β}) = {(X^{T} X)}^{- 1} (X^{T} diag (var (Y. | X)) X) {(X^{T} X)}^{- 1}

$\begin{equation} \mbox{var}\left(\hat{\beta}\right) = \left(X^TX\right)^{-1}\left(X^T\mbox{diag}\left(\mbox{var}\left(Y|X\right)\right)X\right)\left(X^TX\right)^{-1} \end{equation}$

In der gewöhnlichen Standardfehlerschätzung der kleinsten Quadrate für die Regressionskoeffizientenschätzung wird die bedingte Varianz des Ergebnisses als konstant und unabhängig behandelt, so dass sie konsistent geschätzt werden kann.

{\hat{var}}_{O L S} (\hat{β}) = {(X^{T} X)}^{- 1} (r^{2} X^{T} X) {(X^{T} X)}^{- 1}

$\begin{equation} \widehat{\mbox{var}}_{OLS}\left(\hat{\beta}\right) = \left(X^TX\right)^{-1}\left(r^2X^TX\right)\left(X^TX\right)^{-1} \end{equation}$

Für das Sandwich vermeiden wir die konsistente Schätzung der bedingten Varianz und verwenden stattdessen eine Plug-in-Schätzung der Varianz jeder Komponente unter Verwendung des quadratischen Residuums

{\hat{var}}_{R S E} (\hat{β}) = {(X^{T} X)}^{- 1} (X^{T} diag (r_{ich}^{2}) X) {(X^{T} X)}^{- 1}

$\begin{equation} \widehat{\mbox{var}}_{RSE}\left(\hat{\beta}\right) = \left(X^TX\right)^{-1}\left(X^T\mbox{diag}\left(r_i^2\right)X\right)\left(X^TX\right)^{-1} \end{equation}$

Unter Verwendung der Plug-in-Varianzschätzung erhalten wir konsistente Schätzungen der Varianz von nach dem Lyapunov-Zentralgrenzensatz. $\hat{\beta}$

Intuitiv wischen diese beobachteten quadratischen Residuen jeden ungeklärten Fehler aufgrund von Heteroskedastizität auf, der ansonsten unter der Annahme einer konstanten Varianz unerwartet gewesen wäre.

— AdamO
quelle

Es ist Ihr letzter Absatz, den ich nur schwer verstehen kann. Können Sie das veranschaulichen?

— Robert Kubrick

Es ist nicht SE in deinen Formeln, AdamO, es ist SE ^ 2 ... in welcher Matrix auch immer du das meinst.

— StasK

@StasK Guter Punkt. Vielleicht ist ein Varianzhut besser. Ich habe multivariate und univariate Terminologie durcheinandergebracht.

— AdamO

@RobertKubrick Im letzten Absatz weise ich darauf hin, dass der Hauptunterschied bei Schätzern darin besteht, wie wir den bedingten Varianzterm . Im linearen Regressionsmodell schätzen wir die Residuen konsistent, beim Sandwich verwenden wir jedoch nur eine Plug-in-Schätzung der bedingten Varianz für den ten Term unter Verwendung der quadrierten Residuen. Bei Vorhandensein von Heteroskedastizität weisen Punkte mit relativ großen quadratischen Residuen eine entsprechend große geschätzte Varianz auf, und dies verringert ihren Einfluss auf die Standardfehlerschätzungen.

var (Y | X)

$\mbox{var}(Y|X)$

i

$i$

— AdamO

Bearbeiten: Ich sagte, dass OLS var Schätzungen "konsistente Schätzungen von Residuen" beinhalten, wenn ich sagen wollte "konsistente Schätzung der Varianz der Residuen".

— AdamO