Gibt es ein Beispiel, in dem MLE eine voreingenommene Schätzung des Mittelwerts erstellt?

17

Können Sie ein Beispiel für einen MLE-Schätzer für den voreingenommenen Mittelwert angeben?

Ich bin nicht auf der Suche nach einem Beispiel, das MLE-Schätzer im Allgemeinen durch Verstöße gegen die Regularitätsbedingungen bricht.

Alle Beispiele, die ich im Internet sehe, beziehen sich auf die Varianz, und ich kann anscheinend nichts finden, was mit dem Mittelwert zu tun hat.

BEARBEITEN

@MichaelHardy lieferte ein Beispiel, in dem wir eine voreingenommene Schätzung des Mittelwerts der Gleichverteilung unter Verwendung von MLE unter einem bestimmten vorgeschlagenen Modell erhalten.

jedoch

https://en.wikipedia.org/wiki/Uniform_distribution_(continuous)#Estimation_of_midpoint

legt nahe, dass MLE ein einheitlich minimal unverzerrter Schätzer des Mittelwerts ist, eindeutig unter einem anderen vorgeschlagenen Modell.

Zu diesem Zeitpunkt ist mir immer noch nicht klar, was unter MLE-Schätzung zu verstehen ist, wenn es sich um eine sehr modellabhängige Hypothese handelt, im Gegensatz zu einem modellneutralen Stichproben-Mittelwertschätzer. Am Ende bin ich daran interessiert, etwas über die Population abzuschätzen und kümmere mich nicht wirklich um die Schätzung eines Parameters eines hypothetischen Modells.

BEARBEITEN 2

Wie @ChristophHanck dem Modell mit zusätzlichen Informationen vorschlug, gelang es jedoch nicht, die MSE zu reduzieren.

Wir haben auch zusätzliche Ergebnisse:

http://www.maths.manchester.ac.uk/~peterf/CSI_ch4_part1.pdf (S. 61) http://www.cs.tut.fi/~hehu/SSP/lecture6.pdf (Folie 2) http: / /www.stats.ox.ac.uk/~marchini/bs2a/lecture4_4up.pdf (Folie 5)

Wenn ein höchst effizienter unverzerrter Schätzer ˆθ von θ existiert (dh ˆθ ist unverzerrt und seine Varianz ist gleich dem CRLB), dann wird es das Maximum-Likelihood-Schätzverfahren erzeugen.

"Außerdem ist ein effizienter Schätzer der ML-Schätzer."

Da der MLE mit freien Modellparametern unvoreingenommen und effizient ist, ist dies per Definition der "Maximum Likelihood Estimator"?

EDIT 3

@AlecosPapadopoulos hat ein Beispiel mit Halbnormalverteilung im Matheforum.

/math/799954/can-the-maximum-likelihood-estimator-be-unbias-and-fail-to-achieve-cramer-rao

Es verankert keine seiner Parameter wie im einheitlichen Fall. Ich würde sagen, das regelt es, obwohl er die Tendenz des Mittelwertschätzers nicht bewiesen hat.

maximum-likelihood mean bias

— Cagdas Ozgenc
quelle

10

Der Mittelwert einer Uniform auf Null und Theta.

— Christoph Hanck

1

Ich kann Ihrer Unterscheidung zwischen "etwas über die Population abschätzen" und "einem Parameter eines hypothetischen Modells" nicht folgen. In allen parametrischen Statistiken wird eine Grundgesamtheit anhand einiger Parameter parametrisiert. Natürlich können wir so auf Probleme der Fehlspezifikation stoßen, aber das scheint für das vorliegende Problem nicht relevant zu sein.

— Christoph Hanck

5

Zum Beispiel, dass eine Population durch ihre Parameter / Momente wie Mittelwert und Varianz charakterisiert werden kann (was zum Beispiel für eine normale Population ausreichend wäre). Und: Ich denke nicht, dass die Leute mehr oder weniger pedantisch mit dir sind als mit irgendjemand anderem in diesem Forum.

— Christoph Hanck

2

Wenn Sie mit der scheinbaren Leichtigkeit des Umschaltens zwischen "Parameter" und "Mittelwert" unzufrieden sind, lassen Sie mich eine bestimmte nicht negative Verteilung in Form ihres Mittelwerts

mit der Dichte

μ

$\mu$

auf seiner Unterstützung von

...

\frac{1}{2 μ}

$\frac{1}{2\mu}$

[0, 2 μ]

$[0, 2\mu]$

— Silverfish

1

In Bezug auf Ihre Bearbeitung 2 werden viele dieser Ergebnisse unter Regularitätsbedingungen abgeleitet, die für das in diesem Thread diskutierte einheitliche Beispiel, für das der Probenraum vom Parameter abhängt, nicht erfüllt sind.

— Christoph Hanck

32

Christoph Hanck hat die Details seines vorgeschlagenen Beispiels nicht veröffentlicht. Ich nehme an, er meint die Gleichverteilung über das Intervall basierend auf einer iid-Stichprobe einer Größe von mehr als $[0,\theta],$ $X_1,\ldots,X_n$ $n=1.$

Der Mittelwert ist . $\theta/2$

Die MLE des Mittelwerts beträgt $\max\{X_1,\ldots,X_n\}/2.$

Das ist vorgespannt, da also $\Pr(\max < \theta) = 1,$ $\operatorname{E}({\max}/2)<\theta/2.$

PS: beachten Sie, wir sollten vielleicht , dass die beste unverzerrter Schätzer des Mittel ist nicht die Probe Mittelwert, sondern ist $\theta/2$ Der Stichprobenmittelwert ist ein mieser Schätzer vonda für einige Stichproben der Stichprobenmittelwert kleiner als

\frac{n + 1}{2 n} \cdot max {X_{1}, \dots, X_{n}} .

$\frac{n+1} {2n} \cdot \max\{X_1,\ldots,X_n\}.$

θ / 2

$\theta/2$

und es ist eindeutig unmöglich, dass

kleiner als

Ende von PS ist

\frac{1}{2} max {X_{1}, \dots, X_{n}},

$\dfrac 1 2 \max\{X_1,\ldots,X_n\},$

θ / 2

$\theta/2$

max / 2.

${\max}/2.$

Ich vermute, dass die Pareto-Distribution ein weiterer solcher Fall ist. Hier ist das Wahrscheinlichkeitsmaß: Der erwartete Wert ist

α {(\frac{κ}{x})}^{α} \frac{d x}{x} for x > κ .

$\alpha\left( \frac \kappa x \right)^\alpha\ \frac{dx} x \text{ for } x >\kappa.$

Der MLE des erwarteten Wertes ist

\frac{α}{α - 1} κ .

$\dfrac \alpha {\alpha -1 } \kappa.$

wobei

\frac{n}{n - \sum_{i = 1}^{n} ((\log X_{i}) - \log (min))} \cdot min

$\frac n {n - \sum_{i=1}^n \big((\log X_i) - \log(\min)\big)} \cdot \min$

min = min {X_{1}, \dots, X_{n}} .

$\min = \min\{X_1,\ldots,X_n\}.$

Ich habe den erwarteten Wert der MLE für den Mittelwert nicht berechnet, daher weiß ich nicht, wie stark die Abweichung ist.

— Michael Hardy
quelle

12

Cagdas, es ist nicht legitim, ein Gegenbeispiel anzufordern und dann zu leugnen, dass Sie etwas anderes vorschlagen würden! Es ist, als würde man nach einem Beispiel für eine Frucht fragen, die nicht rot ist, eine Blaubeere sehen und dann sagen, dass sie nicht zählt, weil man keine Blaubeeren mag.

— whuber

7

Das ist für die gestellte Frage nicht relevant.

— Whuber

8

@CagdasOzgenc: Ob der MLE voreingenommen ist oder nicht, hängt vom Modell ab. Es gibt keine MLE ohne Model. Und wenn Sie das Modell ändern, ändern Sie die MLE.

— Michael Hardy

8

@CagdasOzgenc Hier ist eine demokratische Frage: Der Stichprobenmittelwert ist ein unvoreingenommener Schätzer für was? Sie benötigen ein Modell, um einen Parameter für die Schätzung zu haben.

— Matthew Drury

9

Der Mittelwert einer iid-Stichprobe ist ein unverzerrter Schätzer des Populationsmittelwerts, aber man kann nicht von einem Maximalwahrscheinlichkeitsschätzer für irgendetwas ohne mehr Struktur sprechen, als für einen unverzerrten Schätzer für etwas erforderlich ist.

— Michael Hardy

18

Hier ist ein Beispiel, das meiner Meinung nach einige überraschen könnte:

Bei der logistischen Regression ist für jede endliche Stichprobengröße mit nicht deterministischen Ergebnissen (dh ) ein geschätzter Regressionskoeffizient nicht nur voreingenommen, sondern der Mittelwert des Regressionskoeffizienten ist tatsächlich undefiniert. $0 < p_{i} < 1$

Dies liegt daran, dass für jede endliche Stichprobengröße eine positive Wahrscheinlichkeit (wenn auch sehr gering, wenn die Anzahl der Stichproben im Vergleich zur Anzahl der Regressionsparameter groß ist) besteht, eine perfekte Trennung der Ergebnisse zu erzielen. In diesem Fall sind die geschätzten Regressionskoeffizienten entweder oder . Eine positive Wahrscheinlichkeit, entweder oder impliziert, dass der erwartete Wert undefiniert ist. $-\infty$ $\infty$ $-\infty$ $\infty$

Weitere Informationen zu diesem speziellen Thema finden Sie unter Hauck-Donner-Effekt .

— Cliff AB
quelle

1

Das ist ziemlich schlau. Ich frage mich, ob die MLE der logistischen Regressionskoeffizienten unparteiisch ist, wenn der Hauck-Donner-Effekt nicht auftritt.

— gung - Wiedereinsetzung von Monica

3

@gung: Kurze Antwort: Ignoriert man den Hauck-Donner-Effekt, gibt es bei absoluten Regressionskoeffizienten immer noch eine Aufwärtsverzerrung (dh negative Koeffizienten haben eine Abwärtsverzerrung, positive eine Aufwärtsverzerrung). Interessanterweise scheint es bei den geschätzten Wahrscheinlichkeiten eine Tendenz zu 0,5 zu geben. Ich habe angefangen, darüber in diesem Beitrag zu schreiben , aber meine Ergebnisse sind nicht auf die Vorurteile der geschätzten Wahrscheinlichkeiten zurückzuführen.

— Cliff AB

10

Obwohl @MichaelHardy darauf hingewiesen hat, folgt hier ein ausführlicheres Argument, warum die MLE des Maximums (und damit des Mittelwerts durch Invarianz) nicht unverzerrt ist, obwohl sie sich in einem anderen Modell befindet (siehe die Bearbeitung unten). $\theta/2$

Wir schätzen die Obergrenze der Gleichverteilung . Hier ist die MLE für eine Zufallsstichprobe . Wir zeigen, dass nicht unvoreingenommen ist. Sein cdf ist $U[0,\theta]$ $y_{(n)}$ $y$ $y_{(n)}$ Somit ist seine Dichte

\begin{array}{rcl} F_{y_{(n)}} (x) & = & Pr {Y_{1} ⩽ x, \dots, Y_{n} ⩽ x} \\ = & Pr {Y_{1} ⩽ x}^{n} \\ = & {\begin{cases} 0 & for x < 0 \\ {(\frac{x}{θ})}^{n} & for 0 ⩽ x ⩽ θ \\ 1 & for x > θ \end{cases} \end{array}

$\begin{eqnarray*} F_{y_{(n)}}(x)&=&\Pr\{Y_1\leqslant x,\ldots,Y_n\leqslant x\}\\ &=&\Pr\{Y_1\leqslant x\}^n\\ &=&\begin{cases} 0&\qquad\text{for}\quad x<0\\ \left(\frac{x}{\theta}\right)^n&\qquad\text{for}\quad 0\leqslant x\leqslant\theta\\ 1&\qquad\text{for}\quad x>\theta \end{cases} \end{eqnarray*}$

also

f_{y_{(n)}} (x) = {\begin{cases} \frac{n}{θ} {(\frac{x}{θ})}^{n - 1} & for 0 ⩽ x ⩽ θ \\ 0 & else \end{cases}

$f_{y_{(n)}}(x)= \begin{cases} \frac{n}{\theta}\left(\frac{x}{\theta}\right)^{n-1}&\qquad\text{for}\quad 0\leqslant x\leqslant\theta\\ 0&\qquad\text{else} \end{cases}$

\begin{array}{rcl} E [Y_{(n)}] & = & \int_{0}^{θ} x \frac{n}{θ} {(\frac{x}{θ})}^{n - 1} d x \\ = & \int_{0}^{θ} n {(\frac{x}{θ})}^{n} d x \\ = & \frac{n}{n + 1} θ \end{array}

$\begin{eqnarray*} E[Y_{(n)}]&=&\int_0^\theta x\frac{n}{\theta}\left(\frac{x}{\theta}\right)^{n-1}dx\\ &=&\int_0^\theta n\left(\frac{x}{\theta}\right)^{n}dx\\ &=&\frac{n}{n+1}\theta \end{eqnarray*}$

EDIT: Es ist in der Tat der Fall, dass (siehe die Diskussion in den Kommentaren) die MLE für den Mittelwert unverzerrt ist, in dem sowohl die untere Schranke als auch die obere Schranke unbekannt sind. Dann wird das Minimum ist das MLE für , mit (Details weggelassen) Erwartungswert $a$ $b$ $Y_{(1)}$ $a$ während

E (Y_{(1)}) = \frac{n a + b}{n + 1}

$E(Y_{(1)})=\frac{na+b}{n+1}$

, so dass die MLE für

ist

E (Y_{(n)}) = \frac{n b + a}{n + 1}

$E(Y_{(n)})=\frac{nb+a}{n+1}$

(a + b) / 2

$(a+b)/2$

mit dem erwarteten Wert

\frac{Y_{(1)} + Y_{(n)}}{2}

$\frac{Y_{(1)}+Y_{(n)}}{2}$

E (\frac{Y_{(1)} + Y_{(n)}}{2}) = \frac{n a + b + n b + a}{2 (n + 1)} = \frac{a + b}{2}

$E\left(\frac{Y_{(1)}+Y_{(n)}}{2}\right)=\frac{na+b+nb+a}{2(n+1)}=\frac{a+b}{2}$

EDIT 2: Um auf Henrys Punkt näher einzugehen, hier eine kleine Simulation für die MSE der Schätzer des Mittelwerts, die zeigt, dass die MSEs für die beiden Varianten identisch sind, wenn wir nicht wissen, dass die Untergrenze Null ist, während die MLE unverzerrt ist Dies legt nahe, dass der Schätzer, der die Kenntnis der Untergrenze einbezieht, die Variabilität verringert.

theta <- 1
mean <- theta/2
reps <- 500000
n <- 5
mse <- bias <- matrix(NA, nrow = reps, ncol = 2)

for (i in 1:reps){
  x <- runif(n, min = 0, max = theta)
  mle.knownlowerbound <- max(x)/2
  mle.unknownlowerbound <- (max(x)+min(x))/2
  mse[i,1] <- (mle.knownlowerbound-mean)^2
  mse[i,2] <- (mle.unknownlowerbound-mean)^2
  bias[i,1] <- mle.knownlowerbound-mean
  bias[i,2] <- mle.unknownlowerbound-mean

}

> colMeans(mse)
[1] 0.01194837 0.01194413

> colMeans(bias)
[1] -0.083464968 -0.000121968

— Christoph Hanck
quelle

Weil Wikipedia zunächst ein anderes Modell vorschlägt. Dort liegt meine Verwirrung.

— Cagdas Ozgenc

a = 0

$a=0$

(m a x + 0) / 2

$(max+0)/2$

2

Ich habe die Details nicht ausgearbeitet, aber der MLE in diesem Modell könnte unverzerrt sein, wenn das Minimum die Untergrenze um den gleichen Betrag überschätzt, wie das Maximum das Maximum unterschätzt, so dass der Mittelpunkt ohne Verzerrung geschätzt wird.

— Christoph Hanck

4

@CagdasOzgenc: Unparteilichkeit ist nicht das einzige oder sogar wichtigste Maß für Besseres . Wenn Sie ein Ende der Unterstützung genau kennen, verlieren Sie möglicherweise das Gleichgewicht zwischen Fehlern bei der Schätzung des Mittelwerts, aber Sie erhalten (zum Beispiel) eine bessere Schätzung des Bereichs

— Henry

6

Maximum-Likelihood-Schätzer sind nicht immer über alle Kriterien hinweg für kleine Stichprobengrößen "am besten". Na und? Sie tun auch nicht so. Wenn Sie für Ihr Problem einen anderen Schätzer verwenden möchten, der nach bestimmten Kriterien bessere Eigenschaften für Stichprobengrößen aufweist, die in der Nähe Ihrer tatsächlichen Stichprobengröße liegen, können Sie dies tun. Das tue ich und andere Leute auch. Niemand behauptet, dass die Verwendung von MLE in allen Situationen gerechtfertigt ist, nur weil es MLE ist.

— Bogenschütze

5

Vervollständigen Sie hier die Lücke in meiner Antwort auf math.se, auf die sich das OP bezieht .

$n$

f_{H} (x) = \sqrt{2 / π} \cdot \frac{1}{v^{1 / 2}} \cdot \exp {- \frac{x^{2}}{2 v}} E (X) = \sqrt{2 / π} \cdot v^{1 / 2} \equiv μ, Var (X) = (1 - \frac{2}{π}) v

$f_H(x) = \sqrt{2/\pi}\cdot \frac 1{v^{1/2}}\cdot \exp\big\{-\frac {x^2}{2v} \big\} \\ E(X) = \sqrt{2/\pi}\cdot v^{1/2}\equiv \mu,\;\; \operatorname{Var}(X) = \left(1-\frac 2 \pi \right)v$

Die log-Wahrscheinlichkeit der Stichprobe ist

L (v ∣ x) = n \ln \sqrt{2 / π} - \frac{n}{2} \ln v - \frac{1}{2 v} \sum_{ich = 1}^{n} x_{ich}^{2}

$L(v\mid \mathbf x) = n\ln\sqrt{2/\pi}-\frac n2\ln v -\frac 1 {2v} \sum_{i=1}^n x_i^2$

$v$

\frac{\partial}{\partial v} L (v ∣ x) = - \frac{n}{2 v} + \frac{1}{2 v^{2}} \sum_{i = 1}^{n} x_{i}^{2}, ⟹ {\hat{v}}_{MLE} = \frac{1}{n} \sum_{i = 1}^{n} x_{i}^{2}

$\frac {\partial}{\partial v}L(v\mid\mathbf x) = -\frac n{2v} + \frac 1 {2v^2} \sum_{i=1}^n x_i^2,\implies \hat v_\text{MLE} = \frac 1n \sum_{i=1}^nx_i^2$

so it is a method of moments estimator. It is unbiased since,

E ({\hat{v}}_{MLE}) = E (X^{2}) = Var (X) + [E (X)])^{2} = (1 - \frac{2}{π}) v + \frac{2}{π} v = v

$E(\hat v_\text{MLE}) = E(X^2) = \operatorname{Var}(X) + [E(X)])^2 = \left(1-\frac 2 \pi \right)v + \frac 2 \pi v = v$

But, the resulting estimator for the mean is downward biased due to Jensen's inequality

\begin{aligned} {\hat{μ}}_{MLE} = \sqrt{2 / π} \cdot \sqrt{{\hat{v}}_{MLE}} ⟹ & E ({\hat{μ}}_{MLE}) = \sqrt{2 / π} \cdot E (\sqrt{{\hat{v}}_{MLE}}) \\ < \sqrt{2 / π} \cdot [\sqrt{E ({\hat{v}}_{MLE})}] = \sqrt{2 / π} \cdot \sqrt{v} = μ \end{aligned}

$\begin{align} \hat \mu_\text{MLE} = \sqrt{2/\pi}\cdot \sqrt {\hat v_\text{MLE}} \implies & E\left(\hat \mu_\text{MLE}\right) = \sqrt{2/\pi}\cdot E\left(\sqrt {\hat v_\text{MLE}}\,\right) \\[6pt] & < \sqrt{2/\pi}\cdot \left[\sqrt {E(\hat v_\text{MLE})}\,\right] = \sqrt{2/\pi}\cdot \sqrt v = \mu \end{align}$

— Alecos Papadopoulos
quelle

4

The famous Neyman Scott problem has an inconsistent MLE in that it never even converges to the right thing. Motivates the use of conditional likelihood.

Take $(X_i, Y_i) \sim \mathcal{N}\left(\mu_i, \sigma^2 \right)$ . The MLE of $\mu_i$ is $(X_i + Y_i)/2$ and of $\sigma^2$ is $\hat{\sigma}^2 = \sum_{i=1}^n \frac{1}{n} s_i^2$ with $s_i^2 = (X_i - \hat{\mu}_i)^2/2 + (Y_i - \hat{\mu}_i)^2/2 = (X_i - Y_i)^2 / 4$ which has expected value $\sigma^2/4$ and so biased by a factor of 2.

— AdamO
quelle

2

While this example holds true, this actually defies one of the basic regularity conditions for asymptotic results of MLE's: that

k / n \to 0

$k / n \rightarrow 0$ , where

k

$k$ is the number of parameters estimated and

n

$n$ is the sample size.

— Cliff AB

1

@CliffAB the assumption violation is that the parametric dimension is not fixed. The dimension of

Θ

$\Theta$ goes to

\infty

$\infty$ as

n \to \infty

$n \rightarrow \infty$ . I think that's what you're saying, but don't know what

k

$k$ means. The practical illustration of this example of course is that these results would be biased even in small samples and you have to use conditional likelihood, like a mixed effects model, to estimate

σ

$\sigma$ in this case.

— AdamO

3

There is an infinite range of examples for this phenomenon since

the maximum likelihood estimator of a bijective transform $\Psi(\theta)$ of a parameter $\theta$ is the bijective transform of the maximum likelihood estimator of $\theta$ , $\Psi(\hat{\theta}_\text{MLE})$ ;
the expectation of the bijective transform of the maximum likelihood estimator of $\theta$ , $\Psi(\hat{\theta}_\text{MLE})$ , $\mathbb{E}[\Psi(\hat{\theta}_\text{MLE})]$ is not the bijective transform of the expectation of the maximum likelihood estimator, $\Psi(\mathbb{E}[\hat{\theta}_\text{MLE}])$ ;
most transforms $\Psi(\theta)$ are expectations of some transform of the data, $\mathfrak{h}(X)$ , at least for exponential families, provided an inverse Laplace transform can be applied to them.

— Xi'an
quelle