Was ist der Unterschied zwischen einem konsistenten und einem unvoreingenommenen Schätzer?

125

Ich bin wirklich überrascht, dass das anscheinend noch niemand gefragt hat ...

Bei der Diskussion von Schätzern werden häufig die Begriffe "konsistent" und "unvoreingenommen" verwendet. Meine Frage ist einfach: Was ist der Unterschied?

Die genauen technischen Definitionen dieser Begriffe sind ziemlich kompliziert und es ist schwierig, ein intuitives Gefühl dafür zu bekommen, was sie bedeuten . Ich kann mir einen guten und einen schlechten Schätzer vorstellen, aber ich habe Probleme zu erkennen, wie ein Schätzer eine Bedingung erfüllen kann und nicht die andere.

unbiased-estimator estimators consistency

— MathematicalOrchid
quelle

Haben Sie sich die allererste Zahl im Wikipedia-Artikel über konsistente Schätzer angesehen , was diese Unterscheidung speziell erklärt?

— whuber

Ich habe die Artikel sowohl auf Konsistenz als auch auf Voreingenommenheit hin gelesen, verstehe den Unterschied aber immer noch nicht wirklich. (Die Zahl, auf die Sie sich beziehen, besagt, dass der Schätzer konsistent, aber voreingenommen ist, aber nicht erklärt, warum .)

— MathematicalOrchid

Bei welchem Teil der Erklärung brauchen Sie Hilfe? Die Beschriftung weist darauf hin, dass jeder der Schätzer in der Sequenz verzerrt ist, und erklärt auch, warum die Sequenz konsistent ist. Benötigen Sie eine Erklärung, wie die Verzerrung dieser Schätzer aus der Abbildung hervorgeht?

— Whuber

+1 Der Kommentarthread nach einer dieser Antworten ist sehr aufschlussreich, sowohl für das, was er über das Thema enthüllt, als auch als interessantes Beispiel dafür, wie eine Online-Community Missverständnisse aufdecken und korrigieren kann.

— whuber

Related: stats.stackexchange.com/questions/173152/…

— kjetil b halvorsen

Antworten:

126

So definieren Sie die beiden Begriffe, ohne zu viel Fachsprache zu verwenden:

Ein Schätzer ist konsistent, wenn mit zunehmender Stichprobengröße die Schätzungen (vom Schätzer erstellt) "konvergieren" zum wahren Wert des zu schätzenden Parameters. Um etwas genauer zu sein - Konsistenz bedeutet, dass sich die Stichprobenverteilung des Schätzers mit zunehmender Stichprobengröße zunehmend auf den wahren Parameterwert konzentriert.
Ein Schätzer ist unvoreingenommen, wenn er im Durchschnitt den wahren Parameterwert erreicht. Das heißt, der Mittelwert der Stichprobenverteilung des Schätzers ist gleich dem wahren Parameterwert.
Beides ist nicht gleichbedeutend: Unvoreingenommenheit ist eine Aussage über den Erwartungswert der Stichprobenverteilung des Schätzers. Konsistenz ist eine Aussage darüber, "wohin die Stichprobenverteilung des Schätzers geht", wenn die Stichprobengröße zunimmt.

$X_1, ..., X_n$ $N(\mu, \sigma^2)$

$\mu$ $X_1$ $\mu$ $E(X_1) = \mu$ $X_1$ $\mu$ $N(\mu, \sigma^2)$
$\sigma^2$
${\hat{σ}}^{2} = \frac{1}{n} \sum_{i = 1}^{n} (X_{i} - \bar{X})^{2}$ $\hat{\sigma}^2 = \frac{1}{n} \sum_{i=1}^{n} (X_i - \overline{X})^2$ $\overline{X}$ $E ({\hat{σ}}^{2}) = \frac{n - 1}{n} σ^{2}$ $E(\hat{\sigma}^2) = \frac{n-1}{n} \sigma^2$ $\hat{\sigma}^2$ $\hat{\sigma}^2$ $v a r ({\hat{σ}}^{2}) = \frac{2 σ^{4} (n - 1)}{n^{2}}$ ${\rm var}(\hat{\sigma}^2) = \frac{ 2\sigma^4(n-1)}{n^2}$ $\hat{\sigma}^2$ $\sigma^2$ $\sigma^2$ $0$

— Makro
quelle

(+1) Nicht alle MLEs sind konsistent: Das allgemeine Ergebnis ist, dass in der Sequenz der MLEs eine konsistente Teilsequenz existiert. Für die richtige Konsistenz sind einige zusätzliche Anforderungen erforderlich, z. B. die Identifizierbarkeit. Beispiele für MLEs, die nicht konsistent sind, finden sich in bestimmten Modellen für Fehler in Variablen (wobei sich das "Maximum" als Sattelpunkt herausstellt).

— MånsT

Nun, die erwähnten EIV-MLEs sind vielleicht keine guten Beispiele, da die Wahrscheinlichkeitsfunktion unbegrenzt ist und kein Maximum existiert. Sie sind gute Beispiele dafür, wie der ML-Ansatz scheitern kann :) Es tut mir leid, dass ich momentan keinen relevanten Link geben kann - ich bin im Urlaub.

— MånsT

Vielen Dank an MånsT. Die notwendigen Bedingungen wurden im Link beschrieben, aber das war aus dem Wortlaut nicht klar.

— Makro

σ^{2}

$\sigma^2$

E ({\hat{σ}}^{2}) \to σ^{2}

$E(\hat{\sigma}^2) \rightarrow \sigma^2$

v a r ({\hat{σ}}^{2}) \to 0

${\rm var}(\hat{\sigma}^2) \rightarrow 0$

{\hat{σ}}^{2}

$\hat{\sigma}^2$

Die Konsistenz eines Schätzers bedeutet, dass die Schätzung mit zunehmender Stichprobengröße immer näher an den wahren Wert des Parameters heranreicht. Die Unvoreingenommenheit ist eine endliche Stichprobeneigenschaft, die von der Zunahme der Stichprobengröße nicht beeinflusst wird. Eine Schätzung ist unverzerrt, wenn ihr erwarteter Wert dem wahren Parameterwert entspricht. Dies gilt für alle Stichprobengrößen und ist genau, wohingegen die Konsistenz asymptotisch und nur ungefähr gleich und nicht genau ist.

$n$

Aktualisieren Sie nach der Diskussion in den Kommentaren mit @ cardinal und @ Macro: Wie unten beschrieben, gibt es anscheinend pathologische Fälle, in denen die Varianz nicht auf 0 gestellt werden muss, damit der Schätzer stark konsistent ist und die Verzerrung nicht einmal auf 1 gestellt werden muss 0 entweder.

— Michael Chernick
quelle

0

$0$

(X_{1}, . . ., X_{n})

$(X_1,...,X_n)$

Normal (μ, 1)

$\mbox{Normal}(\mu,1)$

μ \neq 0

$\mu\neq 0$

1 / \bar{X}

$1/{\bar X}$

1 / μ

$1/\mu$

var (1 / \bar{X}) = \infty

$\mbox{var}(1/{\bar X})=\infty$

n

$n$

n

$n$

Michael, deine Antwort ist ziemlich gut. Ich denke, die Verwirrung wurde durch Ihren ersten Kommentar eingeleitet, der mit zwei Aussagen einhergeht, die eindeutig falsch sind und potenzielle Verwirrungspunkte darstellen. (Tatsächlich verlassen viele Studenten eine Statistikklasse für Einsteiger mit genau diesen falschen Vorstellungen, weil die verschiedenen Konvergenzarten und ihre Bedeutung nicht genau voneinander abgegrenzt sind. Ihre letzte Bemerkung kann als etwas hart angesehen werden.)

— Kardinal

Leider sind die ersten beiden Sätze in Ihrem ersten Kommentar und der gesamte zweite Kommentar falsch. Aber ich fürchte, es ist nicht fruchtbar, weiter zu versuchen, Sie von diesen Tatsachen zu überzeugen.

— Kardinal

{\hat{θ}}_{n} = {\bar{X}}_{n} + Z_{n}

$\hat\theta_n = \bar X_n + Z_n$

Z_{n}

$Z_n$

{\bar{X}}_{n}

$\bar X_n$

Z_{n} = \pm a n

$Z_n = \pm a n$

1 / n^{2}

$1/n^2$

a > 0

$a > 0$

{\hat{θ}}_{n}

$\hat\theta_n$

a^{2}

$a^2$

{\hat{θ}}_{n} \to μ

$\hat\theta_n \to \mu$

-5

Konsistenz: sehr gut erklärt [mit zunehmender Stichprobengröße "konvergieren" die Schätzungen (vom Schätzer erstellt) zum wahren Wert des zu schätzenden Parameters]

Unvoreingenommenheit: Es erfüllt die als Gauß-Markov-Theorem bekannten 1–5-MLR-Annahmen

Linearität,
Stichproben
Null bedingte mittlere Fehlererwartung
keine perfekte Kollinearität
Homoskedastizität

Dann heißt der Schätzer BLAU (bester linearer unverzerrter Schätzer)

— Nikolina Langura
quelle