Sind unverzerrte effiziente Schätzer stochastisch dominant gegenüber anderen (mittleren) unverzerrten Schätzern?

Allgemeine Beschreibung

Maximiert ein effizienter Schätzer (dessen Stichprobenvarianz gleich der Cramér-Rao-Grenze ist) die Wahrscheinlichkeit, nahe am wahren Parameter ? $\theta$

Angenommen, wir vergleichen die Differenz oder die absolute Differenz zwischen der Schätzung und dem wahren Parameter

\hat{Δ} = \hat{θ} - - θ

$\hat\Delta = \hat \theta - \theta$

Ist die Verteilung von für einen effizienten Schätzer stochastisch dominant gegenüber der Verteilung von für einen anderen unverzerrten Schätzer? $\hat\Delta$ $\tilde\Delta$

Motivation

Ich denke darüber nach wegen der Frage Schätzer, der unter allen sinnvollen Verlustfunktionen (Bewertungsfunktionen) optimal ist, wobei wir sagen können, dass der unverzerrte beste Schätzer in Bezug auf eine konvexe Verlustfunktion auch ein unvoreingenommener bester Schätzer in Bezug auf eine andere Verlustfunktion ist (From Iosif Pinelis, 2015, Eine Charakterisierung der besten unverzerrten Schätzer. ArXiv-Vorabdruck arXiv: 1508.07636 ). Die stochastische Dominanz für die Nähe zum wahren Parameter scheint mir ähnlich zu sein (dies ist eine ausreichende Bedingung und eine stärkere Aussage).

Genauere Ausdrücke

Die obige Fragestellung ist weit gefasst, z. B. welche Art von Unparteilichkeit wird berücksichtigt, und haben wir dieselbe Abstandsmetrik für negative und positive Unterschiede?

Betrachten wir die folgenden zwei Fälle: , um die Frage weniger umfassend zu gestalten: $^\dagger$

Vermutung 1: Wenn ein effizienter Mittelwert und ein Median-unverzerrter Schätzer ist. Dann für jeden Mittelwert und Median-unverzerrten Schätzer wobei und $\hat \theta$ $\tilde \theta$

wenn x > 0 dann P. [\hat{Δ} \leq x]] \geq P. [\tilde{Δ} \leq x]] wenn x < 0 dann P. [\hat{Δ} \geq x]] \geq P. [\tilde{Δ} \geq x]]

$\text{if $x>0$ then } P[\hat\Delta \leq x] \geq P[\tilde\Delta \leq x] \\ \text{if $x<0$ then } P[\hat\Delta \geq x] \geq P[\tilde\Delta \geq x]$

\hat{Δ} = \hat{θ} - θ

$\hat \Delta = \hat \theta - \theta$

\tilde{Δ} = \tilde{θ} - θ

$\tilde \Delta = \tilde \theta - \theta$

Vermutung 2: Wenn ein effizienter Mittelwert-unverzerrter Schätzer ist. Dann gilt für jeden mittleren unverzerrten Schätzer und $\hat \theta$ $\tilde \theta$ $x>0$

P [| \hat{Δ} | \geq x] \leq P [| \tilde{Δ} | \geq x]

$P[\vert \hat\Delta \vert \geq x] \leq P[\vert \tilde\Delta \vert \geq x]$

Sind die obigen Vermutungen wahr?
Wenn die Sätze zu stark sind, können wir sie anpassen, damit sie funktionieren?

^{$\dagger$ Der zweite bezieht sich auf den ersten, hebt jedoch die Einschränkung für die Median-Unvoreingenommenheit auf (und dann müssen wir beide Seiten zusammen nehmen, sonst wäre der Satz für jeden Schätzer falsch, der einen anderen Median als der effiziente Schätzer hat).}

Beispiel, Abbildung:

Betrachten sie die Schätzung des mittleren der Verteilung der Bevölkerung (die angenommen wird , normale verteilt) durch (1) die Probe Median und (2) die Probe Mittelwert. $\mu$

Im Fall einer Stichprobe der Größe 5 und wenn die wahre Verteilung der Population beträgt, sieht dies so aus $N(0,1)$

Im Bild sehen wir, dass der gefaltete CDF des Stichprobenmittelwerts (der ein effizienter Schätzer für ) unter dem gefalteten CDF des Stichprobenmedians liegt. Die Frage ist, ob der gefaltete CDF des Stichprobenmittelwerts auch unter dem gefalteten CDF eines anderen unverzerrten Schätzers liegt. $\mu$

Alternativ können wir bei Verwendung der CDF anstelle von gefalteten CDFs die Frage stellen, ob die CDF eines Mittelwerts den Abstand von 0,5 an jedem Punkt maximiert. Wir wissen, dass

\forall \hat{θ} : | F_{m e a n} (\hat{θ}) - 0.5 | \geq | F_{m e d i a n} (\hat{θ}) - 0.5 |

$\forall \hat \theta : |F_{mean}(\hat \theta)-0.5| \geq |F_{median}(\hat \theta)-0.5|$

Haben wir dies auch, wenn wir für die Verteilung eines anderen Mittelwerts und eines Median-unverzerrten Schätzers ersetzen ? $F_{median}(\hat \theta)$

— Sextus Empiricus
quelle

Überprüfen Sie das Pitman nearnessSchlüsselwort, nicht dass ich dieses Kriterium besonders sinnvoll finde.

— Xi'an

Aus der Vermutung heraus erscheint es vernünftiger, Schätzer mit mittlerer Voreingenommenheit als Schätzer mit mittlerer Voreingenommenheit zu verwenden. (Unvoreingenommene Schätzer existieren in wenigen Einstellungen und am besten unvoreingenommen in noch weniger Einstellungen.)

— Xi'an

Das Kriterium der Pitman-Nähe ist in der Tat interessant. Basierend auf den Informationen auf Wikipedia sehe ich es als "die Wahrscheinlichkeit, dass der absolute Unterschied näher ist". Es ist allerdings etwas anders. Dieses Pitman-Nähe-Kriterium kann zu interessanten Fällen führen, in denen ein Schätzer im Durchschnitt eine geringere absolute Differenz aufweist, jedoch nicht nach diesem Nähe-Kriterium gewinnt.

— Sextus Empiricus

\hat{θ}

$\hat\theta$

\tilde{θ}

$\tilde\theta$

θ

$\theta$

\tilde{θ}

$\tilde\theta$

θ

$\theta$

θ

$\theta$

@ Xi'an Ich habe ein visuelles Beispiel hinzugefügt und jetzt bekomme ich Ihren Kommentar zu Median-Voreingenommenheit versus Mittelwert-Voreingenommenheit. Ich habe die Frage angepasst (obwohl sie von meiner ursprünglichen Idee in Bezug auf die verknüpfte Frage abweicht, die jetzt einige komplexere Anpassungen erfordert).

— Sextus Empiricus

$(X_1,\ldots,X_N)$ $\mathcal{C}(\mu,1)$ $\mu$

$\hat{\mu}_1= \text{median}(X_1,\ldots,X_N)=X_{(N/2)}$
$\hat{\mu}_2= \text{mean}(X_{(N/4)},\ldots,X_{(3N/4)})=\frac{2}{N}(X_{(N/4)}+\ldots+X_{(3N/4)})$
$\hat{\mu}_3=\mu^\text{MLE}$
$\hat{\mu}_4=\hat{\mu}_1+\frac{2}{N}\frac{\partial \ell}{\partial \mu}(\hat{\mu}_1)$

$\hat{\mu}_3$ $\hat{\mu}_4$ $\hat{\mu}_1$ $\hat{\mu}_2$

Eine Darstellung der Unterschiede zum empirischen cdf der MLE macht es klarer:

Hier ist der entsprechende R-Code:

T=1e4
N=11
mlechy=function(x){
  return(optimize(function(theta) -sum(dcauchy(x, 
    location=theta, log=TRUE)),  c(-100,100))$minimum)
}
est=matrix(0,T,4)
for (t in 1:T){
cauc=sort(rcauchy(N))
est[t,1]=median(cauc)
est[t,2]=mean(cauc[4:8])
est[t,3]=mlechy(cauc)
est[t,4]=est[t,1]+(4/N)*sum((cauc-est[t,1])/(1+(cauc-est[t,1])^2))
}

plot(ecdf(est[,1]),col="steelblue",cex=.4,xlim=c(-1,1),main="",ylab="F(x)")
plot(ecdf(est[,2]),add=TRUE,col="sienna",cex=.4)
plot(ecdf(est[,3]),add=TRUE,col="gold",cex=.4)
plot(ecdf(est[,4]),add=TRUE,col="tomato",cex=.4)

— Xi'an
quelle

Sollte die Goldkurve (die Differenz der empirischen MLE mit sich selbst) in der Darstellung der Unterschiede nicht Null sein?

— Sextus Empiricus

Mein schlechtes, ich habe die Farbcodes geändert: Tomate ist für den Unterschied zum vierten, Gold für den Unterschied zu Pitman, Siena für den Unterschied zum getrimmten Mittelwert und Blau für den Unterschied zum Median.

— Xi'an