Wie ist die Beziehung zwischen Schätzer und Schätzung?

21

estimation terminology estimators

5

"In der Statistik ist ein Schätzer eine Regel zur Berechnung einer Schätzung einer bestimmten Menge auf der Grundlage beobachteter Daten. Daher werden die Regel und ihr Ergebnis (die Schätzung) unterschieden." (Erste Zeile des Wikipedia-Artikels en.wikipedia.org/wiki/Estimator ).

— whuber

+1 Ich stimme dieser Frage zu (trotz einer gut formulierten Antwort auf einer offensichtlichen Wikipedia-Seite), weil erste Versuche, sie hier zu beantworten, auf einige Feinheiten hingewiesen haben.

— Whuber

@whuber, kann ich sagen, dass die Modellparameterschätzungen der Schätzer sind?

— Avocado

2

@loganecolss Ein Schätzer ist eine mathematische Funktion. Dies unterscheidet sich von dem Wert (der Schätzung), den es für einen beliebigen Datensatz erreichen könnte. Ein Weg, um den Unterschied zu erkennen, besteht darin, zu beachten, dass bestimmte Datensätze dieselben Schätzungen beispielsweise der Steigung in einer linearen Regression unter Verwendung verschiedener Schätzer (wie zum Beispiel Maximum Likelihood oder Iterativ neu gewichtete kleinste Quadrate) ergeben. Ohne eine Unterscheidung der Schätzungen von den Schätzern, die zur Erstellung dieser Schätzungen verwendet wurden, könnten wir nicht verstehen, was diese Aussage überhaupt aussagt.

— whuber

@whuber, auch mit einem bestimmten Datensatz , könnte ein anderer Schätzer auch andere Schätzungen geben, nicht wahr ?

D

$D$

— Avocado

13

EL Lehmann beantwortet diese Frage in seiner klassischen Theorie der Punktschätzung auf den Seiten 1-2.

Es wird nun postuliert, dass die Beobachtungen die Werte sind, die von Zufallsvariablen übernommen werden, von denen angenommen wird, dass sie einer gemeinsamen Wahrscheinlichkeitsverteilung folgen , die zu einer bekannten Klasse gehört ... $P$

... spezialisieren wir uns nun auf die Punktschätzung ... nehmen wir an, dass eine reelle Funktion ist, die [für die festgelegte Klasse von Verteilungen] definiert ist, und dass wir den Wert von [für welche Verteilung auch immer] wissen möchten Wirkung, ]. Leider ist und damit unbekannt. Die Daten können jedoch verwendet werden, um eine Schätzung von , einem Wert, von dem man hofft, dass er nahe an . $g$ $g$ $\theta$ $\theta$ $g(\theta)$ $g(\theta)$ $g(\theta)$

In Worten: Ein Schätzer ist eine bestimmte mathematische Prozedur, die eine Zahl (die Schätzung ) für jeden möglichen Datensatz liefert, den ein bestimmtes Problem erzeugen könnte. Diese Zahl soll eine bestimmte numerische Eigenschaft ( ) des Datenerzeugungsprozesses darstellen; wir könnten dies den "Schätzer" nennen. $g(\theta)$

Der Schätzer selbst ist keine Zufallsvariable, sondern nur eine mathematische Funktion. Die Schätzung basiert jedoch auf Daten, die selbst als Zufallsvariablen modelliert werden. Dies macht die Schätzung (von der angenommen wird, dass sie von den Daten abhängt) zu einer Zufallsvariablen, und eine bestimmte Schätzung für einen bestimmten Datensatz wird zu einer Realisierung dieser Zufallsvariablen.

In einer (herkömmlichen) gewöhnlichen Formel der kleinsten Quadrate bestehen die Daten aus geordneten Paaren . Das wurde vom Experimentator bestimmt (es kann sich beispielsweise um Mengen eines verabreichten Arzneimittels handeln). Eswird angenommen, dassjedes (z. B. eine Antwort auf das Medikament) aus einer Wahrscheinlichkeitsverteilung stammt, die normal ist, aber einen unbekannten Mittelwert und einegemeinsameVarianz . Weiterhin wird angenommen, dass die über eine Formel mit in Beziehung stehen $(x_i, y_i)$ $x_i$ $y_i$ $\mu_i$ $\sigma^2$ $x_i$ . Diese drei Parameter - , und bestimmen die zugrunde liegende Verteilung von für einen beliebigen Wert von . Mankann sichdaherjedeEigenschaft dieser Verteilung als Funktion von . Beispiele für solche Eigenschaften sind der Achsenabschnitt , die Steigung , der Wert von $\mu_i = \beta_0 + \beta_1 x_i$ $\sigma$ $\beta_0$ $\beta_1$ $y_i$ $x_i$ $(\sigma, \beta_0, \beta_1)$ $\beta_0$ $\beta_1$ oder sogar der Mittelwert bei dem Wert, der (gemäß dieser Formulierung). $\cos(\sigma + \beta_0^2 - \beta_1)$ $x=2$ $\beta_0 + 2 \beta_1$

In diesem OLS Zusammenhang ist ein nicht-Beispiel eines Schätzers wäre ein Verfahren zu sein , bei dem Wert der zu erraten , , wenn gleich 2 gesetzt wurden Dies ist nicht ein Schätzer , da dieser Wert von ist zufällig (in einer Weise vollständig getrennt von die Zufälligkeit der Daten): Es ist keine (definitiv numerische) Eigenschaft der Verteilung, obwohl es mit dieser Verteilung zusammenhängt. (Wie wir jedoch gerade gesehen haben, kann die Erwartung von für , gleich , geschätzt werden.) $y$ $x$ $y$ $y$ $x=2$ $\beta_0 + 2 \beta_1$

In Lehmanns Formulierung kann fast jede Formel ein Schätzer für fast jede Eigenschaft sein. Es gibt keine inhärente mathematische Verbindung zwischen einem Schätzer und einem Schätzer. Wir können jedoch im Voraus einschätzen, wie wahrscheinlich es ist, dass ein Schätzer der zu schätzenden Menge angemessen nahe kommt. Möglichkeiten dazu und wie man sie ausnutzt, sind Gegenstand der Schätzungstheorie.

— whuber
quelle

1

(+1) Eine sehr genaue und detaillierte Antwort.

— chl

2

Ist eine Funktion einer Zufallsvariablen selbst nicht auch eine Zufallsvariable?

— Jsk

@jsk Ich denke, die Unterscheidung, die ich hier machen wollte, kann durch Betrachtung der Zusammensetzung der Funktionen

verdeutlicht werden

Die erste Funktion ist eine Zufallsvariable

; der zweite (nenne es

) wird hier als Schätzer bezeichnet , und die Zusammensetzung der beiden

ist eine "Schätzung" oder "Schätzprozedur", die - wie Sie richtig sagen - zufällig ist Variable.

Ω \to R^{n} \to R .

$\Omega\to\mathbb{R}^n\to\mathbb{R}.$

X

$X$

t

$t$

t \circ X : Ω \to R

$t\circ X:\Omega\to\mathbb{R}$

— whuber

1

@whuber In deinem Beitrag sagst du "Der Schätzer selbst ist keine Zufallsvariable." Ich habe versucht, Ihren Beitrag zu bearbeiten, um den Punkt zu verdeutlichen, in dem Sie und ich uns einig zu sein scheinen, aber anscheinend hat jemand meine Bearbeitung abgelehnt. Vielleicht würden sie deine Bearbeitung vorziehen!

— Jsk

Lassen Sie uns diese Diskussion im Chat fortsetzen .

— whuber

7

Kurz gesagt: Ein Schätzer ist eine Funktion und ein Schätzer ist ein Wert, der eine beobachtete Stichprobe zusammenfasst.

Ein Schätzer ist eine Funktion, die der Parameterschätzung eine Zufallsstichprobe zuordnet:

\hat{Θ} = t (X_{1}, X_{2}, . . ., X_{n})

$\hat{\Theta}=t(X_1,X_2,...,X_n)$

X_{1}, X_{2}, . . ., X_{n}

$X_1,X_2,...,X_n$

\hat{Θ}

$\hat{\Theta}$

\bar{X} = \frac{1}{n} \sum_{n = 1}^{n} X_{i}

$\overline{X}=\frac{1}{n}\sum_{n=1}^nX_i$

\hat{θ}

$\hat{\theta}$

x_{1}, x_{2}, . . ., x_{n}

$x_1,x_2,...,x_n$

\hat{θ} = t (x_{1}, x_{2}, . . ., x_{n})

$\hat{\theta}=t(x_1,x_2,...,x_n)$

x_{1}, x_{2}, . . ., x_{n}

$x_1,x_2,...,x_n$

\hat{μ} = \bar{x} = \frac{1}{n} \sum_{n = 1}^{n} x_{i}

$\hat{\mu}=\overline{x}=\frac{1}{n}\sum_{n=1}^nx_i$

— Freeman
quelle

Schätzer ist ein RV, während Schätzung eine Konstante ist?

— Parthiban Rajendran

Widerspricht Ihre Schlussfolgerung nicht der von @ whuber? Hier sagen Sie, Schätzer ist Wohnmobil, aber whuber sagt etwas anderes.

— Parthiban Rajendran

Ja, ich bin nicht einverstanden mit der Aussage von @ whuber "Der Schätzer selbst ist keine Zufallsvariable, sondern nur eine mathematische Funktion". Eine Funktion einer Zufallsvariablen ist auch eine Zufallsvariable. onlinecourses.science.psu.edu/stat414/node/128

— Freeman

3

Es kann hilfreich sein, die Antwort von whuber im Kontext eines linearen Regressionsmodells zu veranschaulichen. Angenommen, Sie haben einige bivariate Daten und verwenden gewöhnliche kleinste Quadrate, um das folgende Modell zu erstellen:

Y = 6X + 1

Zu diesem Zeitpunkt können Sie jeden Wert von X nehmen, in das Modell einfügen und das Ergebnis Y vorhersagen. In diesem Sinne können Sie sich die einzelnen Komponenten der generischen Form des Modells ( mX + B ) als Schätzer vorstellen . Die Beispieldaten (die Sie vermutlich in das generische Modell eingefügt haben, um die spezifischen Werte für m und B oben zu berechnen ) lieferten eine Grundlage, auf der Sie Schätzungen für m bzw. B erstellen konnten.

In Übereinstimmung mit den @ whuber-Punkten in unserem Thread unten werden im Kontext der linearen Regression alle Werte von Y , für die Sie eine bestimmte Menge von Schätzern generiert haben, als vorhergesagte Werte angesehen.

(einige Male bearbeitet, um die folgenden Kommentare wiederzugeben)

— ashaw
quelle

1

Sie haben einen Prädiktor definiert . Es unterscheidet sich subtil (aber vor allem) von einem Schätzer. Der Schätzer ist in diesem Zusammenhang die Formel der kleinsten Quadrate, die zur Berechnung der Parameter 1 und 6 aus den Daten verwendet wird.

— Whuber

Hmm, ich habe es nicht so gemeint, @whuber, aber ich denke, Ihr Kommentar zeigt eine wichtige Mehrdeutigkeit in meiner Sprache, die ich vorher nicht bemerkt habe. Der Hauptpunkt hierbei ist, dass Sie sich die generische Form der Gleichung Y = mX + B (wie oben verwendet) als Schätzer vorstellen können, während die bestimmten vorhergesagten Werte, die durch bestimmte Beispiele dieser Formel generiert werden (z. B. 1 + 6X), sind Schätzungen. Lassen Sie mich versuchen, den obigen Absatz zu bearbeiten, um diese Unterscheidung zu erfassen ...

— ashaw

Übrigens, ich versuche das zu erklären, ohne die "Hut" -Notation einzuführen, die ich in den meisten Lehrbuchdiskussionen zu diesem Konzept gesehen habe. Vielleicht ist das doch der bessere Weg?

— Ashaw

2

Ich denke, Sie haben in Ihrer ursprünglichen Antwort ein gutes Mittel zwischen Genauigkeit und Technik gefunden: Machen Sie weiter so! Sie brauchen keine Hüte, aber wenn Sie zeigen können, wie sich ein Schätzer von anderen, ähnlich aussehenden Dingen unterscheidet, wäre das am hilfreichsten. Beachten Sie jedoch den Unterschied zwischen der Vorhersage eines Werts Y und der Schätzung eines Parameters wie m oder b . Y könnte als Zufallsvariable interpretiert werden; m und b sind nicht (außer in einer Bayes'schen Umgebung).

— whuber

in der Tat ein sehr guter Punkt in Bezug auf Parameter im Vergleich zu Werten dort.

— Nochmal editieren

0

Angenommen, Sie haben einige Daten erhalten und eine beobachtete Variable namens Theta. Jetzt können Ihre Daten aus einer Datenverteilung stammen. Für diese Verteilung gibt es einen entsprechenden Wert von Theta, auf den Sie schließen, der eine Zufallsvariable ist. Sie können den MAP oder Mittelwert verwenden, um die Schätzung dieser Zufallsvariablen zu berechnen, wenn sich die Verteilung Ihrer Daten ändert. Die Zufallsvariable Theta ist also eine Schätzung , ein einzelner Wert der nicht beobachteten Variablen für einen bestimmten Datentyp.

Während Estimator ist Ihre Daten, die auch eine Zufallsvariable ist. Für verschiedene Arten von Verteilungen haben Sie unterschiedliche Arten von Daten und somit eine unterschiedliche Schätzung, weshalb diese entsprechende Zufallsvariable Schätzer genannt wird .

— Ankur Kothari
quelle