Wird der mittlere quadratische Fehler verwendet, um die relative Überlegenheit eines Schätzers gegenüber einem anderen zu bewerten?

13

Angenommen, wir haben zwei Schätzer $\alpha_1$ und für einen Parameter . Um festzustellen, welcher Schätzer "besser" ist, betrachten wir den MSE (Mean Squared Error)? Mit anderen Worten, wir betrachten wobei die Abweichung des Schätzers und die Varianz des Schätzers ist. Wer eine größere MSE hat, ist ein schlechterer Schätzer? $\alpha_2$ $x$

M S E = β^{2} + σ^{2}

$MSE = \beta^2+ \sigma^2$

β

$\beta$

σ^{2}

$\sigma^2$

estimation mse

— Damien
quelle

10

Wenn Sie zwei konkurrierende Schätzer und , ob oder ob nicht besagt, dass ist die bessere Schätzer ganz auf Ihre Festlegung ist abhängig von "Beste". Zum Beispiel, wenn Sie unvoreingenommene Schätzer und „besser“ vergleichen Sie bedeuten eine geringere Varianz dann, ja, würde dies bedeuten , dass ist besser. $\hat \theta_1$ $\hat \theta_2$

M S E ({\hat{θ}}_{1}) < M S E ({\hat{θ}}_{2})

${\rm MSE}(\hat \theta_1) < {\rm MSE}(\hat \theta_2)$

{\hat{θ}}_{1}

$\hat \theta_1$

{\hat{θ}}_{1}

$\hat \theta_1$

M S E

$\rm MSE$ wegen seiner Verbindung zu einem beliebten Kriterium der kleinsten Quadrate ist und die Gaußsche Log-Likelihood aber, wie viele statistische Kriterien sollte man verwenden , werden verwarnt

M S E

$\rm MSE$ blind als Maß für die Schätzer Qualität ohne die Aufmerksamkeit auf die Anwendung zu zahlen.

Es gibt bestimmte Situationen , in denen ein Schätz Auswahl zu minimieren ${\rm MSE}$ eine besonders sinnvolle Sache zu tun sein kann , nicht. Zwei Szenarien kommen in den Sinn:

Wenn ein Datensatz sehr große Ausreißer enthält, können diese die MSE drastisch beeinflussen, und daher kann der Schätzer, der die MSE minimiert, von solchen Ausreißern in unangemessener Weise beeinflusst werden. In solchen Situationen sagt die Tatsache, dass ein Schätzer die MSE minimiert, nicht viel aus, da Sie, wenn Sie die Ausreißer entfernt haben, eine völlig andere Schätzung erhalten können. In diesem Sinne ist die MSE für Ausreißer nicht "robust". Im Kontext der Regression motivierte diese Tatsache den Huber M-Estimator (den ich in dieser Antwort diskutiere), der eine andere Kriteriumsfunktion (dh eine Mischung aus quadratischem Fehler und absolutem Fehler) minimiert, wenn es Long-tailed-Fehler gibt .
Wenn Sie einen begrenzten Parameter sind zu schätzen, zu vergleichen s nicht geeignet sein können , da sie nachteilige Auswirkungen auf und understimation anders in diesem Fall. Angenommen, Sie schätzen eine Varianz, . Wenn Sie die Größe bewusst unterschätzen, kann Ihre höchstens betragen , während eine Überschätzung eine hervorrufen kann, die weit übersteigt , möglicherweise sogar um einen unbegrenzten Betrag. $\rm MSE$ $\sigma^2$ $\rm MSE$ $\sigma^4$ $\rm MSE$ $\sigma^4$

Um diesen Nachteil mehr klar zu machen, werde ich ein konkretes Beispiel geben , wenn aufgrund dieser Probleme, die kann kein geeignetes Maß für Schätzer Qualität sein. $\rm MSE$

Angenommen , Sie eine Probe haben aus einer Verteilung mit Freiheitsgraden und wir versuchen, die Varianz zu schätzen, die . Betrachten wir zwei konkurrierende $X_1, ..., X_n$ $t$ $\nu>2$ $\nu/(\nu-2)$ und Offensichtlich

{\hat{θ}}_{1} : t h e u n b i a s e d s a m p l e v a r i a n c e

$\hat \theta_{1}: {\rm the \ unbiased \ sample \ variance}$

{\hat{θ}}_{2} = 0, r e g a r d l e s s o f t h e d a t a

$\hat \theta_{2} = 0,{\rm \ regardless \ of \ the \ data}$

, und es ist eine Tatsachedaß

M S E ({\hat{θ}}_{2}) = \frac{ν^{2}}{(ν - 2)^{2}}

$\rm MSE(\hat \theta_{2}) = \frac{\nu^2}{(\nu-2)^2}$

was sich ausder in diesem Thread diskutierten Tatsacheundden Eigenschaften der

Verteilungableiten lässt. Sodie naiven Schätzer übertreffen in Bezug aufunabhängig von der Probengrößewenn, die eher befremdlich ist. Es ist auch besser als

M S E ({\hat{θ}}_{1}) = {\begin{cases} \infty & if ν \leq 4 \\ \frac{ν^{2}}{(ν - 2)^{2}} (\frac{2}{n - 1} + \frac{6}{n (ν - 4)}) & if ν > 4 . \end{cases}

${\rm MSE}(\hat \theta_{1}) = \begin{cases} \infty &\mbox{if } \nu \leq 4 \\ \frac{\nu^2}{(\nu-2)^2} \left( \frac{2}{n-1}+\frac{6}{n(\nu-4)} \right) & \mbox{if } \nu>4 . \end{cases}$

t

$t$ $\rm MSE$ $\nu < 4$

, dies ist jedoch nur für sehr kleine Stichprobengrößen relevant. Die oben geschieht wegen der langen Schwanz Natur der

Verteilung mit kleinen Freiheitsgraden, die machen

auf sehr große Werte und die anfällig

bestraft stark für die Überschätzung, während

dieses Problem nicht hat.

(\frac{2}{n - 1} + \frac{6}{n (ν - 4)}) > 1

$\left( \frac{2}{n-1}+\frac{6}{n(\nu-4)} \right) > 1$

t

$t$

{\hat{θ}}_{2}

$\hat \theta_{2}$

M S E

$\rm MSE$

{\hat{θ}}_{1}

$\hat \theta_1$

$\rm MSE$ $\rm MSE$ $\hat \theta$

S (\hat{θ}) = \frac{\hat{θ}}{ν / (ν - 2)} - 1 - \log (\frac{\hat{θ}}{ν / (ν - 2)})

$S(\hat \theta) = \frac{ \hat \theta}{\nu/(\nu-2)} - 1 - \log \left( \frac{ \hat \theta}{\nu/(\nu-2)} \right)$

$S(\hat \theta_1)=\infty$

— Makro
quelle

(+1) Nette Diskussion. Um fair zu sein, sollte wahrscheinlich darauf hingewiesen werden, dass ähnliche Argumente auch für und gegen andere Kriterien (andere Verlustfunktionen) vorgebracht werden können.

— MånsT

2

Normalerweise bewertet man Schätzer anhand ihrer Risikofunktionen, in denen der erwartete Verlust gegen die Parameter aufgetragen ist. Hier haben Sie möglicherweise durch Festlegen der Parameter eine irreführende Analyse erstellt. Schließlich ist es immer so , dass ein dummer (konstanter, datenunabhängiger) Schätzer einen sehr geringen erwarteten Verlust verursachen kann: Setzen Sie ihn einfach auf den richtigen Parameter! Ich frage mich daher, was die Simulation hier wirklich gezeigt hat.

— whuber

@whuber, ich habe diese Antwort geändert, um das Beispiel analytisch darzustellen, was es vielleicht klarer macht. Ich habe auch eine alternative Verlustfunktion angeboten, die möglicherweise geeigneter ist.

— Makro

ν

$\nu$

2

$L(\alpha_i) = (\alpha_i - \alpha)^2$

— JMS
quelle

2

$f(x) = x^2$

$f(x) = |x|$

MSE ist wahrscheinlich eine gute Wahl, wenn die Fehlerbedingungen normal verteilt sind. Wenn sie dickere Schwänze haben, ist eine robustere Wahl wie der absolute Wert vorzuziehen.

— aprokopiw
quelle

0

In Case & Berger Statistical Inference, 2. Ausgabe, heißt es, dass MSE für Überschätzung und Unterschätzung gleichermaßen bestraft wird, was im Fall der Lokalisierung in Ordnung ist. Im Skalierungsfall ist 0 jedoch eine natürliche Untergrenze, sodass das Schätzproblem nicht symmetrisch ist. Die Verwendung von MSE ist in diesem Fall eher zu unterschätzen.

Möglicherweise möchten Sie überprüfen, welcher Schätzer die UMVUE-Eigenschaften erfüllt. Dies bedeutet, dass Sie die Cramer-Rao-Untergrenze verwenden. Seite 341.

— Tu.2
quelle