Wie erklärt man einem Laien, was ein unvoreingenommener Schätzer ist?

10

Angenommen, ist ein unvoreingenommener Schätzer für . Dann ist natürlich . $\hat{\theta}$ $\theta$ $\mathbb{E}[\hat{\theta} \mid \theta] = \theta$

Wie erklärt man das einem Laien? In der Vergangenheit habe ich gesagt , dass Sie eine bessere Annäherung an erhalten, wenn Sie eine Reihe von Werten von , wenn die Stichprobengröße größer wird . $\hat{\theta}$ $\theta$

Für mich ist das problematisch. Ich denke, was ich hier tatsächlich beschreibe, ist dieses Phänomen, asymptotisch unvoreingenommen zu sein, anstatt nur unvoreingenommen zu sein, dh wobei wahrscheinlich von abhängig ist .

lim_{n \to \infty} E [\hat{θ} ∣ θ] = θ,

$\lim_{n \to \infty}\mathbb{E}[\hat{\theta} \mid \theta] = \theta\text{,}$

\hat{θ}

$\hat{\theta}$

n

$n$

Wie erklärt man einem Laien, was ein unvoreingenommener Schätzer ist?

— Klarinettist
quelle

2

Dies ist eine Möglichkeit, eine Schätzung vorzunehmen, die genau richtig ist: Sie ist normalerweise nicht genau richtig, führt aber im Großen und Ganzen nicht häufiger zu Überschätzungen als zu Unterschätzungen. Mir ist klar, dass es dadurch eher so klingt, als ob

θ

$\theta$ der Median von

\hat{θ}

$\hat \theta$ als der Mittelwert, aber ich denke, es erfasst den wesentlichen Punkt.

— Jwimberley

3

Ich mag den Witz "Drei Statistiker jagen" (eine Version hier ) dafür ...

— Ben Bolker

2

Ihre Erklärung ist das Gesetz der großen Zahlen, es hat nichts mit Unparteilichkeit zu tun.

— Xi'an

@ Xi'an: Wenn der Schätzer voreingenommen wäre, wäre das Limit nicht .

θ

$\theta$

— user2357112 unterstützt Monica

@ user2357112: Nach meinem Verständnis (und dem anderer, wie aus den bisherigen Antworten hervorgeht) bedeutet, wenn die Stichprobengröße größer wird, berücksichtigen, wenn bis unendlich wächst, dh ein Schätzer, der auf Beobachtungen basiert . Ich sehe jetzt, dass der Satz anders interpretiert werden kann.

{\hat{θ}}_{n}

$\hat\theta_n$

n

$n$

n

$n$

— Xi'an

14

Technisch gesehen beschreiben Sie, wenn Sie sagen, dass Ihr Schätzer mit zunehmender Stichprobengröße näher am wahren Wert liegt, die Konsistenz oder Konvergenz statistischer Schätzer (wie andere bereits erwähnt haben). Diese Konvergenz kann entweder eine Konvergenz der Wahrscheinlichkeit sein, die besagt, dass für jedes , oder fast sichere Konvergenz, die besagt, dass . Beachten Sie, wie das Limit tatsächlich innerhalb liegt $\lim_{n \to \infty} P(|\hat{\theta}_n - \theta| > \epsilon) = 0$ $\epsilon > 0$ $P(\lim_{n \to \infty} |\hat{\theta}_n - \theta| > \epsilon) = 0$ die Wahrscheinlichkeit im zweiten Fall. Es stellt sich heraus, dass diese letztere Form der Konvergenz stärker ist als die andere, aber beide bedeuten im Wesentlichen dasselbe, dh, dass die Schätzung dazu neigt, immer näher an das zu kommen, was wir schätzen, wenn wir mehr Stichproben sammeln.

Ein subtiler Punkt hier ist, dass selbst wenn entweder in der Wahrscheinlichkeit oder fast sicher ist, es im Allgemeinen nicht wahr ist, dass , Konsistenz bedeutet also keine asymptotische Unparteilichkeit, wie Sie vorschlagen. Sie müssen vorsichtig sein, wenn Sie zwischen Sequenzen von Zufallsvariablen (die Funktionen sind) und Sequenzen von Erwartungen (die Integrale sind) wechseln. $\hat{\theta}_n \to \theta$ $\lim_{n \to \infty} \text{E}(\hat{\theta}_n) = \theta$

Abgesehen von allen technischen Dingen bedeutet unvoreingenommen nur, dass . Wenn Sie es also jemandem erklären, sagen Sie einfach, dass der Durchschnittswert der Schätzung nahe am wahren Wert liegen würde, wenn das Experiment viele Male unter identischen Bedingungen wiederholt würde. $\text{E}(\hat{\theta}_n) = \theta$

— dsaxton
quelle

5

Ihre Vision des Laien ist bewundernswert. Er weiß, was "Konvergenz in der Wahrscheinlichkeit", "als Konvergenz", Grenzen ... Es ist der Mann aus der Zukunft.

— Aksakal

2

Ich glaube nicht, dass ein Laie eines dieser Dinge weiß. Ich habe versucht, ein Missverständnis im ursprünglichen Beitrag zu korrigieren. Mein Vorschlag, wie man einem Laien die Dinge erklärt, ist im letzten Absatz.

— Dsaxton

Dieser letzte Absatz verwickelt das Bias-Konzept jedoch in die Konsistenz eines Schätzers, was wahrscheinlich zunächst eine der Verwirrungen von OP war.

— Aksakal

3

Wie? Das Wiederholen eines Experiments unter identischen Bedingungen würde bedeuten, dass die Stichprobengröße festgelegt ist, sodass wir offensichtlich nicht über Konsistenz sprechen.

— Dsaxton

1

Ok, Sie haben Recht damit, aber dann bedeutet es, dass Sie eine häufigere Sicht auf eine Wahrscheinlichkeit

— einbringen

9

Ich bin mir nicht sicher, ob Sie Beständigkeit und Unparteilichkeit verwechseln.

Konsistenz: Je größer die Stichprobe ist, desto geringer ist die Varianz des Schätzers.

Abhängig von der Stichprobengröße

Unvoreingenommenheit: Der erwartete Wert des Schätzers entspricht dem wahren Wert der Parameter

Hängt nicht von der Stichprobengröße ab

Also dein Satz

Wenn Sie eine Reihe von Werten für mitteln, erhalten Sie mit zunehmender Stichprobengröße eine bessere Annäherung an . $\hat\theta$ $\theta$

Das ist nicht richtig. Selbst wenn die Stichprobengröße unendlich wird, bleibt ein unverzerrter Schätzer ein unverzerrter Schätzer. Wenn Sie beispielsweise den Mittelwert als "Mittelwert +1" schätzen, können Sie Ihrer Stichprobe eine Milliarde Beobachtungen hinzufügen, und Ihr Schätzer gibt Ihnen immer noch nicht den wahren Wert.

Hier finden Sie eine eingehendere Diskussion über den Unterschied zwischen Beständigkeit und Unparteilichkeit.

Was ist der Unterschied zwischen einem konsistenten Schätzer und einem unvoreingenommenen Schätzer?

— Ferdi
quelle

2

Ich weiß eigentlich nichts über Konsistenz, aber trotzdem danke.

— Klarinettist

1

@Clarinetist Konsistenz ist vielleicht die wichtigste Eigenschaft eines Schätzers, dass Sie mit genügend Daten willkürlich der richtigen Antwort nahe kommen.

— Matthew Gunn

7

@Ferdi hat Ihre Frage bereits klar beantwortet, aber lassen Sie es uns etwas formeller gestalten.

Lassen Ihre Probe unabhängig und identisch Zufallsvariablen von der Verteilung verteilt . Sie sind daran interessiert, unbekannte, aber feste Größen schätzen , wobei der Schätzer eine Funktion von . Da eine Funktion von Zufallsvariablen ist, schätzen Sie $X_1,\dots,X_n$ $F$ $\theta$ $g$ $X_1,\dots,X_n$ $g$

{\hat{θ}}_{n} = g (X_{1}, \dots, X_{n})

$\hat\theta_n = g(X_1,\dots,X_n)$

ist auch eine Zufallsvariable. Wir definieren Voreingenommenheit als

b i a s ({\hat{θ}}_{n}) = E_{θ} ({\hat{θ}}_{n}) - θ

$\mathrm{bias}(\hat\theta_n) = \mathbb{E}_\theta(\hat\theta_n) - \theta$

Der Schätzer ist unvoreingenommen, wenn . $\mathbb{E}_\theta(\hat\theta_n) = \theta$

Sagen wir es im Klartext: Wir haben es mit Zufallsvariablen zu tun. Wenn es also nicht entartet ist und wir unterschiedliche Stichproben genommen haben, können wir erwarten, dass wir unterschiedliche Daten und damit unterschiedliche Schätzungen beobachten. Nichtsdestotrotz könnten wir erwarten, dass über verschiedene Stichproben "im Durchschnitt" geschätzt "richtig" wäre, wenn der Schätzer unvoreingenommen ist. Es wäre also nicht immer richtig, aber "im Durchschnitt" wäre es richtig. Es kann einfach nicht immer "richtig" sein, da die Daten zufällig sind. $\hat\theta_n$

Wie andere bereits bemerkt haben, kommt die Tatsache, dass Ihre Schätzung der geschätzten Menge "näher" kommt, wenn Ihre Stichprobe wächst, dh die Wahrscheinlichkeit konvergiert

{\hat{θ}}_{n} \overset{P}{\to} θ

$\hat\theta_n \overset{P}{\to} \theta$

hat mit der Konsistenz der Schätzer zu tun , nicht mit der Unparteilichkeit. Die Unvoreingenommenheit allein sagt nichts über die Stichprobengröße und ihre Beziehung zu den erhaltenen Schätzungen aus. Darüber hinaus sind unverzerrte Schätzer nicht immer verfügbar und nicht immer voreingenommenen vorzuziehen . Wenn Sie beispielsweise den Bias-Varianz-Kompromiss in Betracht gezogen haben, können Sie in Betracht ziehen, einen Schätzer mit größerer Bias, aber geringerer Varianz zu verwenden. "Im Durchschnitt" wäre er also weiter vom wahren Wert entfernt, aber häufiger (kleinere Varianz) würden die Schätzungen näher am wahren Wert sein, dann im Falle eines unverzerrten Schätzers.

— Tim
quelle

(+1): Sehr guter Punkt, um die Tatsache einzubeziehen, dass selten unvoreingenommene Schätzer verfügbar sind. Und Erwähnung der Bias / Varianz-Opposition.

— Xi'an

2

Zunächst müssen Sie Missverständnisse von statistischen Verzerrungen unterscheiden, insbesondere für Laien.

Die Wahl von sagen sie mit Median, Mittelwert oder Modus als Schätzer für eine Bevölkerung Durchschnitt enthält oft einen politischen, religiösen oder Wissenschaftstheorie Glauben Bias. Die Berechnung, welcher Schätzer die beste Form des Durchschnitts ist, unterscheidet sich von der Arithmetik, die die statistische Verzerrung beeinflusst.

Sobald Sie die Methodenauswahlverzerrung überwunden haben, können Sie die potenziellen Verzerrungen in der Schätzmethode beheben. Zuerst müssen Sie eine Methode auswählen, die eine Verzerrung aufweisen kann, und einen Mechanismus, der leicht zu dieser Verzerrung führt.

Es kann einfacher sein, einen Eroberungsstandpunkt zu teilen, wenn es offensichtlich wird, wenn die Stichprobengröße kleiner wird und die Schätzung deutlich verzerrt wird. Zum Beispiel wird der n-1-Faktor (vs 'n' -Faktor) in Stichproben-Spread-Schätzern offensichtlich, wenn n von 3 auf 2 auf 1 fällt!

Es hängt alles davon ab, wie "Laie" die Person ist.

— Philip Oakley
quelle

Ich befürchte, dass Sie über andere Arten von Vorurteilen sprechen als die in der Frage. Könnten Sie versuchen, genauer zu sagen, was Voreingenommenheit ist? Sie schreiben über "mögliche Verzerrungen in der Schätzmethode" und dies scheint nicht der Definition der Verzerrung zu entsprechen (angegeben in den obigen Fragen und Antworten). Am Ende macht dies Ihre Antwort verwirrend ...

— Tim

@Tim, der erste Schritt bestand darin, nur sicherzustellen, dass menschliche Vorurteile abgedeckt waren. Der zweite Schritt bestand darin (und folgt teilweise den Fragen von Schritt 1), sicherzustellen, dass der Unterricht des Laien nicht bereits die Methode X (die unvoreingenommene) war. zB Die Standardabweichung ist 1 / n * Summe ((x-Mittelwert) ^ 2), aber das unterscheidet (sorgfältig) nicht zwischen Population und Stichprobe. Den meisten Laien wird die undenkbare 1 / (N-1) -Version für ein Beispiel beigebracht. Wenn Sie nur eine Methode haben, haben Sie (der Laie) keine Wahl, so dass Schätzer-Voreingenommenheit kein Problem sein kann ... Es ist der Kruger-Dunning-Schritt.

— Philip Oakley