Andere unvoreingenommene Schätzer als die BLAUE (OLS-Lösung) für lineare Modelle

Für ein lineares Modell bietet die OLS-Lösung den besten linearen unverzerrten Schätzer für die Parameter.

Natürlich können wir eine Tendenz für eine geringere Varianz eintauschen, z. B. eine Kammregression. Aber meine Frage bezieht sich darauf, keine Vorurteile zu haben. Gibt es andere Schätzer, die etwas gebräuchlich sind, aber eine höhere Varianz aufweisen als die geschätzten OLS-Parameter?

Wenn ich einen riesigen Datensatz haben würde, könnte ich ihn natürlich unterproben und die Parameter mit weniger Daten schätzen und die Varianz erhöhen. Ich gehe davon aus, dass dies hypothetisch nützlich sein könnte.

Dies ist eher eine rhetorische Frage, denn wenn ich über BLAUE Schätzer gelesen habe, gibt es keine schlechtere Alternative. Ich vermute, dass die Bereitstellung schlechterer Alternativen auch dazu beitragen könnte, die Leistung von BLUE-Schätzern besser zu verstehen.

Ein Beispiel, das mir einfällt, ist ein GLS-Schätzer, der Beobachtungen unterschiedlich gewichtet, obwohl dies nicht erforderlich ist, wenn die Gauß-Markov-Annahmen erfüllt sind (von denen der Statistiker möglicherweise nicht weiß, dass dies der Fall ist, und der daher weiterhin GLS anwendet).

Betrachten Sie zur Veranschaulichung den Fall einer Regression von $y_i$ , $i=1,\ldots,n$ auf einer Konstante (verallgemeinert leicht auf allgemeine GLS-Schätzer). Hier wird angenommen, dass $\{y_i\}$ eine Zufallsstichprobe aus einer Population mit mittlerem $\mu$ und Varianz $\sigma^2$ .

Dann wissen wir , dass OLS ist nur β = ˉ y die mittlere Probe. Um den Punkt zu betonen , dass jede Beobachtung mit dem Gewicht gewichtet ist , 1 / n , Schreiben dieser als β = n Σ i = 1 1$\hat\beta=\bar y$$1/n$

$$\hat\beta=\sum_{i=1}^n\frac{1}{n}y_i.$$ Es ist bekanntdass$Var(\hat\beta)=\sigma^2/n$.

Betrachten Sie nun eine andere Schätzfunktion, die als geschrieben werden kann ,

$$\tilde\beta=\sum_{i=1}^nw_iy_i,$$ wobei die Gewichte so sind , daß $\sum_iw_i=1$ . Dies stellt sicher, dass der Schätzer unverzerrt ist, da $$E\left(\sum_{i=1}^nw_iy_i\right)=\sum_{i=1}^nw_iE(y_i)=\sum_{i=1}^nw_i\mu=\mu.$$ Ihre Varianz übersteigt die von OLS, es sei denn,$w_i=1/n$für alle$i$(in diesem Fall reduziert sie sich natürlich auf OLS), was zum Beispiel über einen Lagrange angezeigt werden kann:

$$\begin{align*} L&=V(\tilde\beta)-\lambda\left(\sum_iw_i-1\right)\\ &=\sum_iw_i^2\sigma^2-\lambda\left(\sum_iw_i-1\right), \end{align*}$$ $w_i$$2\sigma^2w_i-\lambda=0$$i$$\partial L/\partial\lambda=0$$\sum_iw_i-1=0$$\lambda$$w_i=w_j$$w_i=1/n$

Hier ist eine grafische Darstellung einer kleinen Simulation, die mit dem folgenden Code erstellt wurde:

$y_i$In log(s) : NaNs produced

$w_i=(1\pm\epsilon)/n$

Dass die letzteren drei von der OLS-Lösung übertroffen werden, impliziert die BLUE-Eigenschaft nicht sofort (zumindest nicht für mich), da es nicht offensichtlich ist, ob es sich um lineare Schätzer handelt (noch weiß ich, ob MLE und Huber unvoreingenommen sind).

library(MASS)
n <- 100      
reps <- 1e6

epsilon <- 0.5
w <- c(rep((1+epsilon)/n,n/2),rep((1-epsilon)/n,n/2))

ols <- weightedestimator <- lad <- mle.t4 <- huberest <- rep(NA,reps)

for (i in 1:reps)
{
  y <- rnorm(n)
  ols[i] <- mean(y)
  weightedestimator[i] <- crossprod(w,y)  
  lad[i] <- median(y)   
  mle.t4[i] <- fitdistr(y, "t", df=4)$estimate[1]
  huberest[i] <- huber(y)$mu
}

plot(density(ols), col="purple", lwd=3, main="Kernel-estimate of density of OLS and other estimators",xlab="")
lines(density(weightedestimator), col="lightblue2", lwd=3)     
lines(density(lad), col="salmon", lwd=3)     
lines(density(mle.t4), col="green", lwd=3)
lines(density(huberest), col="#949413", lwd=3)
abline(v=0,lty=2)
legend('topright', c("OLS","weighted","median", "MLE t, 4 df", "Huber"), col=c("purple","lightblue","salmon","green", "#949413"), lwd=3)