Standardabweichung der Standardabweichung

Was ist ein Schätzer der Standardabweichung der Standardabweichung, wenn eine Normalität der Daten angenommen werden kann?

estimation standard-deviation normality-assumption

— Ferdi
quelle

Ich nehme an, Sie suchen nach der Verteilung der Stichprobenvarianz . Dieser Link führt zu einem Abschnitt auf der Wikipedia-Seite über Abweichungen am 21. August 2016, 16:55 Uhr. Da dies ein Link zu Wikipedia ist, kann sich der Artikel in Zukunft ändern. Daher gibt der Abschnitt möglicherweise nicht den Inhalt wieder, auf den sich diese Antwort nach solchen Änderungen bezieht. Daher wird hier ein Link zu einer historischen Version der Wikipedia-Seite angegeben. Der aktuelle Artikel über die Varianz ist [hier] ( en.wikipedia.org/wik

Antworten:

Sei . Wie in diesem Thread gezeigt , ist die Standardabweichung der Probe Standardabweichung, $X_1, ..., X_n \sim N(\mu, \sigma^2)$

s = \sqrt{\frac{1}{n - 1} \sum_{i = 1}^{n} (X_{i} - \bar{X})},

$s = \sqrt{ \frac{1}{n-1} \sum_{i=1}^{n} (X_i - \overline{X}) },$

ist

S D (s) = \sqrt{E ([E (s) - s]^{2})} = σ \sqrt{1 - \frac{2}{n - 1} \cdot {(\frac{Γ (n / 2)}{Γ (\frac{n - 1}{2})})}^{2}}

${\rm SD}(s) = \sqrt{ E \left( [E(s)- s]^2 \right) } = \sigma \sqrt{ 1 - \frac{2}{n-1} \cdot \left( \frac{ \Gamma(n/2) }{ \Gamma( \frac{n-1}{2} ) } \right)^2 }$

Dabei ist die Gammafunktion , die Stichprobengröße und der Stichprobenmittelwert. Da ein konsistenter Schätzer von , schlägt dies vor, durch in der obigen Gleichung zu ersetzen , um einen konsistenten Schätzer von . $\Gamma(\cdot)$ $n$ $\overline{X} = \frac{1}{n} \sum_{i=1}^{n} X_i$ $s$ $\sigma$ $\sigma$ $s$ ${\rm SD}(s)$

Wenn es sich um einen unvoreingenommenen Schätzer handelt, den Sie suchen, sehen wir in diesem Thread, dass , was aufgrund der Linearität der Erwartung nahe legt $E(s) = \sigma \cdot \sqrt{ \frac{2}{n-1} } \cdot \frac{ \Gamma(n/2) }{ \Gamma( \frac{n-1}{2} ) }$

s \cdot \sqrt{\frac{n - 1}{2}} \cdot \frac{Γ (\frac{n - 1}{2})}{Γ (n / 2)}

$s \cdot \sqrt{ \frac{n-1}{2} } \cdot \frac{\Gamma( \frac{n-1}{2} )}{ \Gamma(n/2) }$

als unvoreingenommener Schätzer von . All dies zusammen mit der Linearität der Erwartung ergibt einen unvoreingenommenen Schätzer für : $\sigma$ ${\rm SD}(s)$

s \cdot \frac{Γ (\frac{n - 1}{2})}{Γ (n / 2)} \cdot \sqrt{\frac{n - 1}{2} - {(\frac{Γ (n / 2)}{Γ (\frac{n - 1}{2})})}^{2}}

$s \cdot \frac{\Gamma( \frac{n-1}{2} )}{ \Gamma(n/2) } \cdot \sqrt{\frac{n-1}{2} - \left( \frac{ \Gamma(n/2) }{ \Gamma( \frac{n-1}{2} ) } \right)^2 }$

— Makro
quelle

+1 Es ist schön zu sehen, dass nach fast zwei Jahren nicht nur eine bessere Antwort eingeht, sondern eine Antwort, die nützlicher ist als die Verweise an anderer Stelle in diesem Thread.

— whuber

Haben Sie vergessen, die Abstände in der ersten Formel zu quadrieren?

— Danijar

Die Gamma-Funktion ist für nicht kleine Werte von schwer zu berechnen . Unter Anwendung von Stirlings Näherung erhalte ich , was sowohl rechnerisch als auch ein wenig machbar ist kompakter ausgedrückt.

n

$n$

s \cdot \sqrt{e \cdot (1 - \frac{1}{n})^{n - 1} - 1}

$s\cdot\sqrt{\mathrm{e}\cdot(1-\frac{1}{n})^{n-1}-1}$

— Equaeghe

Es lohnt sich wahrscheinlich darauf hinzuweisen, dass s (berechnet in der Antwort von @ Macro) manchmal als Standardfehler der Standardabweichung der Stichprobe bezeichnet wird.

— Harvey Motulsky

Für diejenigen, die eine einfache Form wünschen, ist eine gute Annäherung an ein paar Prozent.

s / \sqrt{2 (n - 1)}

$s/\sqrt{2(n-1)}$

— Syrtis Major

Angenommen, Sie beobachten iid von einer Normalen mit Mittelwert Null und Varianz . Die (empirische) Standardabweichung ist die Quadratwurzel des Schätzers von (unvoreingenommen oder nicht, das ist nicht die Frage). Als Schätzer (erhalten mit ) hat eine Varianz, die theoretisch berechnet werden kann. Vielleicht ist die von Ihnen als Standardabweichung der Standardabweichung bezeichnete Quadratwurzel der Varianz der Standardabweichung, dh ? Es ist kein Schätzer, es ist eine theoretische Größe (so etwas wie $X_1,\dots,X_n$ $\sigma^2$ $\hat{\sigma}^2$ $\sigma^2$ $X_1,\dots,X_n$ $\hat{\sigma}$ $\sqrt{E[(\sigma-\hat{\sigma})^2]}$ $\sigma/\sqrt{n}$ muss noch bestätigt werden) das kann explizit berechnet werden!

— Robin Girard
quelle

Ist das nicht eine Funktion des Schätzers, die immer noch ein Schätzer ist? Ich weiß immer noch nicht, nur X_i.

ok, dann schätzt du möglicherweise die Quadratwurzel der Varianz der Schätzung der Quadratwurzel der Varianz ... richtig :) sollte so etwas sein wie ?

\hat{σ} / n

$\hat{\sigma}/n$

— Robin Girard

Was Srikant gefunden hat (und was bei PhysicsForums bestätigt zu sein scheint), sollte , also .

\sqrt{2}

$\sqrt{2}$

\hat{σ} \frac{\sqrt{2}}{2 n}

$\hat{\sigma}\frac{\sqrt{2}}{2n}$

Oh, diese Kommentare sind gesperrt. . Zumindest dieser gibt das Ergebnis in Übereinstimmung mit Bootstrap.

\frac{\hat{σ}}{\sqrt{2 n}}

$\frac{\hat{\sigma}}{\sqrt{2n}}$

-3

@Macro lieferte eine großartige mathematische Erklärung mit zu berechnenden Gleichungen. Hier ist eine allgemeinere Erklärung für weniger mathematische Leute.

Ich denke, die Terminologie "SD of SD" ist für viele verwirrend. Es ist einfacher, über das Konfidenzintervall einer SD nachzudenken. Wie genau ist die Standardabweichung, die Sie aus einer Stichprobe berechnen? Möglicherweise haben Sie zufällig Daten erhalten, die eng beieinander liegen, sodass die Stichproben-SD viel geringer ist als die Populations-SD. Oder Sie haben zufällig Werte erhalten, die viel stärker gestreut sind als die Gesamtpopulation, wodurch die Stichproben-SD höher ist als die Populations-SD.

Das Interpretieren des CI des SD ist unkompliziert. Beginnen Sie mit der üblichen Annahme, dass Ihre Daten zufällig und unabhängig von einer Gaußschen Verteilung erfasst wurden. Wiederholen Sie nun diese Abtastung viele Male. Sie erwarten, dass 95% dieser Konfidenzintervalle die wahre Populations-SD enthalten.

Wie breit ist das 95% -Konfidenzintervall einer SD? Dies hängt natürlich von der Stichprobengröße (n) ab.

n: 95% CI von SD

2: 0,45 * SD bis 31,9 * SD

3: 0,52 * SD bis 6,29 * SD

5: 0,60 * SD bis 2,87 * SD

10: 0,69 * SD bis 1,83 * SD

25: 0,78 * SD bis 1,39 * SD

50: 0,84 * SD bis 1,25 * SD

100: 0,88 * SD bis 1,16 * SD

500: 0,94 * SD bis 1,07 * SD

Kostenloser Web-Rechner

— Harvey Motulsky
quelle

Ich kann Monte Carlo, ich wollte es nur wissenschaftlicher machen; trotzdem hast du recht, dass die verteilung nicht normal ist, so dass diese sd zum testen unbrauchbar wird.

Für das, was es wert ist, ist mir die Aussage "ein Konfidenzintervall von 95% ... enthält wahrscheinlich die wahre SD" unangenehm (oder genauer gesagt auf der verlinkten Seite: "Sie können zu 95% sicher sein, dass die Aus der Stichproben-SD berechnetes CI enthält die wahre Populations-SD "). Ich denke, diese Aussagen flirten und verstärken ein weit verbreitetes Missverständnis. Hier finden Sie z. B. eine entsprechende Diskussion zum Lebenslauf.

— gung - Wiedereinsetzung von Monica

Was bedeutet "Ich denke, dass sowohl das Konzept als auch die Terminologie von" SD of SD "zu rutschig sind, um es anzugehen"? Die Standardabweichung der Stichprobe ist eine Zufallsvariable mit einer Standardabweichung.

— Makro

@Makro. Danke für deine Kommentare. Ich habe wesentlich umgeschrieben.

— Harvey Motulsky

@gung. Ich habe umgeschrieben, um das Konfidenzintervall richtig zu erklären.

— Harvey Motulsky