Warum ist die Standardabweichung der Stichprobe ein verzerrter Schätzer von

57

Nach dem Wikipedia-Artikel über unvoreingenommene Schätzung der Standardabweichung der Stichprobe SD

s = \sqrt{\frac{1}{n - 1} \sum_{ich = 1}^{n} (X_{ich} - \bar{X})^{2}}

$s = \sqrt{\frac{1}{n-1} \sum_{i=1}^n (x_i - \overline{x})^2}$

ist ein voreingenommener Schätzer der SD der Bevölkerung. Es besagt, dass $E(\sqrt{s^2}) \neq \sqrt{E(s^2)}$ .

NB. Zufallsvariablen sind unabhängig und jedes $x_{i} \sim N(\mu,\sigma^{2})$

Meine Frage ist zweifach:

Was ist der Beweis für die Voreingenommenheit?
Wie berechnet man die Erwartung der Probenstandardabweichung?

Meine Kenntnisse in Mathe / Statistik sind nur mittelschwer.

estimation standard-deviation

— Dav Weps
quelle

4

Sie finden beide Fragen im Wikipedia-Artikel über die Chi-Distribution .

— whuber

57

Die Antwort von @ NRH auf diese Frage liefert einen schönen, einfachen Beweis für die Voreingenommenheit der Standardabweichung der Stichprobe. Hier werde ich explizit die Erwartung der Standardabweichung der Stichprobe (die zweite Frage des ursprünglichen Posters) von einer normalverteilten Stichprobe berechnen, wobei an diesem Punkt die Verzerrung klar ist.

Die unvoreingenommene Probenvarianz eines Satzes von Punkten ist , $x_1, ..., x_n$

s^{2} = \frac{1}{n - 1} \sum_{i = 1}^{n} (x_{i} - \bar{x})^{2}

$s^{2} = \frac{1}{n-1} \sum_{i=1}^{n} (x_i - \overline{x})^2$

Wenn die normal verteilt sind, ist es eine Tatsache, dass $x_i$

\frac{(n - 1) s^{2}}{σ^{2}} \sim χ_{n - 1}^{2}

$\frac{(n-1)s^2}{\sigma^2} \sim \chi^{2}_{n-1}$

wobei die wahre Varianz ist. Die Verteilung hat eine Wahrscheinlichkeitsdichte $\sigma^2$ $\chi^2_{k}$

p (x) = \frac{(1 / 2)^{k / 2}}{Γ (k / 2)} x^{k / 2 - 1} e^{- x / 2}

$p(x) = \frac{(1/2)^{k/2}}{\Gamma(k/2)} x^{k/2 - 1}e^{-x/2}$

daraus können wir den erwarteten Wert von ableiten ; $s$

\begin{aligned} E (s) & = \sqrt{\frac{σ^{2}}{n - 1}} E (\sqrt{\frac{s^{2} (n - 1)}{σ^{2}}}) \\ = \sqrt{\frac{σ^{2}}{n - 1}} \int_{0}^{\infty} \sqrt{x} \frac{(1 / 2)^{(n - 1) / 2}}{Γ ((n - 1) / 2)} x^{((n - 1) / 2) - 1} e^{- x / 2} d X \end{aligned}

$\begin{align} E(s) &= \sqrt{\frac{\sigma^2}{n-1}} E \left( \sqrt{\frac{s^2(n-1)}{\sigma^2}} \right) \\ &= \sqrt{\frac{\sigma^2}{n-1}} \int_{0}^{\infty} \sqrt{x} \frac{(1/2)^{(n-1)/2}}{\Gamma((n-1)/2)} x^{((n-1)/2) - 1}e^{-x/2} \ dx \end{align}$

was sich aus der Definition des Erwartungswertes und der Tatsache ergibt, dass ist die Quadratwurzel einerverteilten Variablen. Der Trick besteht nun darin, Terme neu anzuordnen, damit der Integrand eine weitereDichte vonerhält: $\sqrt{\frac{s^2(n-1)}{\sigma^2}}$ $\chi^2$ $\chi^2$

\begin{aligned} E (s) & = \sqrt{\frac{σ^{2}}{n - 1}} \int_{0}^{\infty} \frac{(1 / 2)^{(n - 1) / 2}}{Γ (\frac{n - 1}{2})} x^{(n / 2) - 1} e^{- x / 2} d x \\ = \sqrt{\frac{σ^{2}}{n - 1}} \cdot \frac{Γ (n / 2)}{Γ (\frac{n - 1}{2})} \int_{0}^{\infty} \frac{(1 / 2)^{(n - 1) / 2}}{Γ (n / 2)} x^{(n / 2) - 1} e^{- x / 2} d x \\ = \sqrt{\frac{σ^{2}}{n - 1}} \cdot \frac{Γ (n / 2)}{Γ (\frac{n - 1}{2})} \cdot \frac{(1 / 2)^{(n - 1) / 2}}{(1 / 2)^{n / 2}} \underset{χ_{n}^{2} d e n s i t y}{\underset{⏟}{\int_{0}^{\infty} \frac{(1 / 2)^{n / 2}}{Γ (n / 2)} x^{(n / 2) - 1} e^{- x / 2} d x}} \end{aligned}

$\begin{align} E(s) &= \sqrt{\frac{\sigma^2}{n-1}} \int_{0}^{\infty} \frac{(1/2)^{(n-1)/2}}{\Gamma(\frac{n-1}{2})} x^{(n/2) - 1}e^{-x/2} \ dx \\ &= \sqrt{\frac{\sigma^2}{n-1}} \cdot \frac{ \Gamma(n/2) }{ \Gamma( \frac{n-1}{2} ) } \int_{0}^{\infty} \frac{(1/2)^{(n-1)/2}}{\Gamma(n/2)} x^{(n/2) - 1}e^{-x/2} \ dx \\ &= \sqrt{\frac{\sigma^2}{n-1}} \cdot \frac{ \Gamma(n/2) }{ \Gamma( \frac{n-1}{2} ) } \cdot \frac{ (1/2)^{(n-1)/2} }{ (1/2)^{n/2} } \underbrace{ \int_{0}^{\infty} \frac{(1/2)^{n/2}}{\Gamma(n/2)} x^{(n/2) - 1}e^{-x/2} \ dx}_{\chi^2_n \ {\rm density} } \end{align}$

$\chi^2_{n}$

E (s) = σ \cdot \sqrt{\frac{2}{n - 1}} \cdot \frac{Γ (n / 2)}{Γ (\frac{n - 1}{2})}

$E(s) = \sigma \cdot \sqrt{ \frac{2}{n-1} } \cdot \frac{ \Gamma(n/2) }{ \Gamma( \frac{n-1}{2} ) }$

$s$

σ - E (s) = σ (1 - \sqrt{\frac{2}{n - 1}} \cdot \frac{Γ (n / 2)}{Γ (\frac{n - 1}{2})}) \sim \frac{σ}{4 n}

$\sigma - E(s) = \sigma \bigg(1 - \sqrt{ \frac{2}{n-1} } \cdot \frac{ \Gamma(n/2) }{ \Gamma( \frac{n-1}{2} ) } \bigg) \sim \frac{\sigma}{4 n} \>$

n \to \infty

$n \to \infty$ .

$n$ $n$ $\sigma=1$ $1/4n$

Bildbeschreibung hier eingeben

— Makro
quelle

(4 n)^{- 1}

$(4n)^{-1}$

Sie haben sich wirklich sehr viel Mühe gegeben, um dieses Makro zu erstellen. Als ich den Post vor ungefähr einer Minute zum ersten Mal sah, dachte ich daran, die Voreingenommenheit mit Jensens Regel zu zeigen, aber jemand tat es bereits.

— Michael Chernick

2

Natürlich ist dies ein Umweg, um zu zeigen, dass die Standardabweichung voreingenommen ist. Ich beantwortete hauptsächlich die zweite Frage des ursprünglichen Posters: "Wie berechnet man die Erwartung der Standardabweichung?".

— Makro

2

s

$s$

σ^{k}

$\sigma^k$

2

s^{k}

$s^k$

k

$k$

43

s^{2} = \frac{1}{n - 1} \sum_{i = 1}^{n} (x_{i} - \bar{x})^{2}

$s^2 = \frac{1}{n-1} \sum_{i=1}^n(x_i - \bar{x})^2$

σ^{2}

$\sigma^2$

E (\sqrt{s^{2}}) < \sqrt{E (s^{2})} = σ

$E(\sqrt{s^2}) < \sqrt{E(s^2)} = \sigma$

s^{2}

$s^2$

σ^{2}

$\sigma^2$

— NRH
quelle

19

nehme an, dass

S_{n} = \sqrt{\sum_{i = 1}^{n} \frac{(X_{i} - {\bar{X}}_{n})^{2}}{n - 1}},

$S_n = \sqrt{\sum_{i=1}^n\frac{(X_i-\bar{X}_n)^2}{n-1}} ,$

S_{n}

$S_n$

V a r [S_{n}] \neq 0

$\mathrm{Var}[S_n]\ne0$

0 < V a r [S_{n}] = E [S_{n}^{2}] - E^{2} [S_{n}] \Leftrightarrow E^{2} [S_{n}] < E [S_{n}^{2}] \Leftrightarrow E [S_{n}] < \sqrt{E [S_{n}^{2}]} = σ .

$0 < \mathrm{Var}[S_n] = \mathrm{E}[S_n^2] - \mathrm{E}^2[S_n] \;\;\Leftrightarrow\;\; \mathrm{E}^2[S_n] < \mathrm{E}[S_n^2] \;\;\Leftrightarrow\;\; \mathrm{E}[S_n] < \sqrt{\mathrm{E}[S_n^2]} =\sigma.$

— Zen
quelle