Warum ist die Standardabweichung als Quadrat der Varianz und nicht als Quadrat der Quadratsumme über N definiert?

Heute unterrichtete ich eine Einführungsklasse für Statistik und ein Schüler kam auf mich zu und stellte mir die Frage, die ich hier umformuliere: "Warum wird die Standardabweichung als Abweichungsquadrat und nicht als Quadratsumme über N definiert?"

Wir definieren die Populationsvarianz: $\sigma^2=\frac{1}{N}\sum{(x_i-\mu)^2}$

Und Standardabweichung: . $\sigma=\sqrt{\sigma^2}=\frac{1}{\sqrt{N}}\sqrt{\sum{(x_i-\mu)^2}}$

Die Interpretation, die wir zu geben können, ist, dass es die durchschnittliche Abweichung von Einheiten in der Bevölkerung vom Bevölkerungsmittel von . $\sigma$ $X$

In der Definition von sd dividieren wir jedoch die Quadratsumme durch . Die Frage, die der Schüler stellt, ist, warum wir nicht stattdessen das Quadrat der Quadratsumme durch teilen . So kommen wir zur Konkurrenzformel:Der Student argumentierte, dass diese Formel eher wie eine "durchschnittliche" Abweichung vom Mittelwert aussieht als beim Dividieren durch wie in . $\sqrt{N}$ $N$

σ_{n e w} = \frac{1}{N} \sqrt{\sum (x_{ich} - μ)^{2}} .

$\sigma_{new}=\frac{1}{N}\sqrt{\sum{(x_i-\mu)^2}}.$

\sqrt{N}

$\sqrt{N}$

σ

$\sigma$

Ich fand diese Frage nicht dumm. Ich möchte dem Studenten eine Antwort geben, die weiter geht als zu sagen, dass die SD als Quadrat der Varianz definiert ist, die die durchschnittliche quadratische Abweichung ist. Anders ausgedrückt, warum sollte die Schülerin die richtige Formel verwenden und nicht ihrer Idee folgen?

Diese Frage bezieht sich auf einen älteren Thread und die hier angegebenen Antworten . Die Antworten gehen in drei Richtungen:

$\sigma$ ist die Abweichung vom quadratischen Mittelwert (RMS), nicht die "typische" Abweichung vom Mittelwert (dh ). Somit ist es anders definiert. $\sigma_{new}$
Es hat schöne mathematische Eigenschaften.
Darüber hinaus würde der sqrt "Einheiten" auf ihren ursprünglichen Maßstab zurückbringen. Dies wäre jedoch auch für der Fall , das stattdessen durch dividiert . $\sigma_{new}$ $N$

Die beiden Punkte 1 und 2 sind Argumente zugunsten von sd als RMS, aber ich sehe kein Argument gegen die Verwendung von . Was wären die guten Argumente, um Einsteiger von der Verwendung des durchschnittlichen RMS-Abstands vom Mittelwert zu überzeugen ? $\sigma_{new}$ $\sigma$

— Tomka
quelle

Ich denke, die Frage "Warum ist die Standardabweichung definiert als ..." ist schwer zu beantworten. Definitionen sind nur willkürliche Kennzeichnungskonventionen. Sie müssen sich nicht an das Warum anpassen .

— TTNPHNS

"Why is the standard deviation defined as sqrt of variance and not as average of [the root of] sum of squares?"Könnte es sein, dass was in Klammern steht irgendwie in der Frage verloren gegangen ist?

— TTNPHNS

Aber SD dient einer Reihe von Zwecken; Es muss eine bessere Motivation geben als die, die so definiert ist. Dies wäre insbesondere für die Lehre von Studenten von Nutzen. Ich kann mir eine Motivation im Sinne von Chebyshevs Ungleichung vorstellen (min. Anteil der Fälle im Bereich +/- eines konstanten Faktors von sd).

— Tomka

Ich kann nicht antworten, weil Ihr Q in der Warteschleife ist. Versuchen Sie Folgendes: Stellen Sie sich vor, Sie beobachten die Werte 1 und 3 in ungefähr gleichen Anteilen (werfen Sie eine Münze, , ). Ein "typischer Abstand" der Beobachtungen vom Mittelwert sollte etwa 1 mit Ihrer Formel, was mit diesem Maß für den typischen Abstand für sehr, sehr groß passiert . In jedem Fallwird in der Nähe von 1 sein, so dass ihre Summe der Quadrate in der Nähe von . Der Zähler wird nahe an , damit Ihre Formel kleiner werden würde und kleiner als erhöht, obwohl der typische Abstand vom Mittelwert nicht ändert.

H = 3

$H=3$

T = 1

$T=1$

\sqrt{S S E} / n

$\sqrt{SSE}/n$

n

$n$

| x_{i} - \bar{x} |

$|x_i-\bar{x}|$

n

$n$

\sqrt{n}

$\sqrt{n}$

n

$n$

— Glen_b -Reinstate Monica

@whuber Ich habe ein weiteres Update gemacht und hoffe, der Punkt, den ich mache, ist jetzt klarer. Hinweis: Ich bitte hier um Ratschläge für den Unterricht und stelle auch eine Frage zu Grundlagen der Statistik. Ich schlage keine alternative Formel vor, sondern gebe ein Beispiel aus einer Klassenzimmersituation einer guten Frage eines Schülers, auf die ich keine unmittelbare Antwort hatte. Wenn Sie damit einverstanden sind, bitte ich Sie, die Frage jetzt aus der Warteschleife zu nehmen.

— Tomka

Antworten:

Es gibt mindestens drei grundlegende Probleme, die Anfängern leicht erklärt werden können:

Die "neue" SD ist nicht einmal für unendliche Populationen definiert. (Man könnte es in solchen Fällen immer als Null deklarieren, aber das würde es nicht nützlicher machen.)
Die neue SD verhält sich nicht so, wie es ein Durchschnitt unter Zufallsstichproben tun sollte.
Obwohl die neue SD kann mit allen mathematischen Strenge verwendet werden , Abweichungen von einem Mittelwert zu beurteilen (in Proben und endlichen Populationen), wird seine Interpretation unnötig kompliziert.

1. Die Anwendbarkeit des neuen SD ist begrenzt

Punkt (1) könnte auch für diejenigen, die sich mit Integration nicht auskennen, deutlich gemacht werden, da die Varianz eindeutig ein arithmetisches Mittel (der quadratischen Abweichungen) ist und eine sinnvolle Erweiterung auf Modelle "unendlicher" Populationen darstellt, für die die Die Anschauung über die Existenz eines arithmetischen Mittels ist immer noch gültig. Daher ist seine Quadratwurzel - die übliche SD - auch in solchen Fällen perfekt definiert und in seiner Rolle ebenso nützlich wie eine (nichtlineare Reexpression von) einer Varianz. Die neue SD dividiert diesen Durchschnitt jedoch durch das willkürlich große , was ihre Verallgemeinerung über endliche Populationen und endliche Stichproben hinaus problematisch macht: Was sollte in solchen Fällen als gleich genommen werden? $\sqrt{N}$ $1/\sqrt{N}$

2. Die neue SD ist kein Durchschnitt

Jede Statistik, die den Namen "Durchschnitt" verdient, sollte die Eigenschaft haben, dass sie mit zunehmender Größe einer Zufallsstichprobe aus der Bevölkerung gegen den Bevölkerungswert konvergiert. Jedes feste Vielfache der SD hätte diese Eigenschaft, da der Multiplikator sowohl für die Berechnung der Stichproben-SD als auch der Populations-SD gilt. (Obwohl dies dem Argument von Alecos Papadopoulos nicht direkt widerspricht, deutet diese Beobachtung darauf hin, dass das Argument nur tangential zu den tatsächlichen Problemen ist.) Die "neue" SD ist jedoch offensichtlich gleich dem -fachen der üblichen Konvergiert unter allen Umständen gegen wenn die Stichprobengröße groß wird. Daher gilt zwar für jede feste Stichprobengröße $1/\sqrt{N}$ $0$ $N$ $N$ Die neue SD (angemessen interpretiert) ist ein vollkommen angemessenes Maß für die Abweichung vom Mittelwert. Sie kann nicht zu Recht als universelles Maß angesehen werden, das bei gleicher Interpretation für alle Stichprobengrößen gilt, und sie kann in keinem Fall korrekt als "Durchschnitt" bezeichnet werden nützlicher Sinn.

3. Die neue SD ist kompliziert zu interpretieren und zu verwenden

Betrachten Sie die Entnahme von Proben der Größe . Die neue SD ist in diesen Fällen das fache der üblichen SD. Es verfügt daher über vergleichbare Interpretationen, wie zum Beispiel ein Analogon der 68-95-99-Regel (ungefähr 68% der Daten sollten innerhalb von zwei neuen SDs des Mittelwerts liegen, 95% von ihnen innerhalb von vier neuen SDs des Mittelwerts usw.) . und Versionen klassischer Ungleichungen wie die von Chebychev werden gelten (nicht mehr als der Daten können mehr als neue SDs vom Mittelwert entfernt sein), und der zentrale Grenzwertsatz kann in Bezug auf die neue SD analog angepasst werden (man dividiert durch $N=4$ $1/\sqrt{N}=1/2$ $1/k^2$ $2k$ $\sqrt{N}$ mal die neue SD um die Variable zu standardisieren). In diesem spezifischen und eindeutig eingeschränkten Sinne ist der Vorschlag des Schülers also nicht falsch. Die Schwierigkeit besteht jedoch darin, dass alle diese Anweisungen - ganz explizit - Faktoren von . Obwohl dies kein inhärentes mathematisches Problem darstellt, erschwert es sicherlich die Aussagen und die Interpretation der grundlegendsten Gesetze der Statistik. $\sqrt{N}=2$

Es ist anzumerken, dass Gauß und andere ursprünglich die Gauß-Verteilung durch parametrisierten und effektiv das -fache der SD verwendeten, um die Streuung einer normalen Zufallsvariablen zu quantifizieren. Diese historische Verwendung demonstriert die Angemessenheit und Wirksamkeit der Verwendung anderer fester Vielfacher des SD an dessen Stelle. $\sqrt{2}\sigma$ $\sqrt{2}$

— whuber
quelle

Vielen Dank - eine Frage zurück (in Bezug auf Punkt 2): Konvergiert nicht gegen da größer wird, während offensichtlich tut?

\frac{1}{\sqrt{N}}

$\frac{1}{\sqrt{N}}$

0

$0$

N

$N$

\frac{1}{N}

$\frac{1}{N}$

— Tomka

Wir vergleichen die SD des Samples mit dem -fachen der SD des Samples (der "neuen SD"). Wenn groß wird, nähert sich die SD der Stichprobe einer (normalerweise) Nicht-Null- Konstante , die der Populations-SD entspricht. Daher konvergiert mal die Abtast-SD gegen Null.

1 / \sqrt{N}

$1/\sqrt{N}$

N

$N$

1 / \sqrt{N}

$1/\sqrt{N}$

— Whuber

Dies ist Standardmaterial - konsultieren Sie jedes strenge Lehrbuch in der mathematischen Statistik (das, um fair zu sein, für die meisten Anfänger nicht zugänglich wäre). Die für meine Antwort wichtigen Ergebnisse ergeben sich jedoch aus einer schwächeren und intuitiv verständlichen Aussage. Fixiere eine Zahl und lasse die Populations-SD sein. Betrachten Sie die Wahrscheinlichkeit, dass die Beispiel-SD zwischen und . Es reicht aus, dass diese Chance mit zunehmender Stichprobengröße auf Null geht . Dies allein zeigt, dass mal die Stichproben-SD fast sicher gegen konvergiert , was Punkt (2) in der Antwort demonstriert.

A > 1

$A \gt 1$

σ

$\sigma$

σ / A

$\sigma/A$

A σ

$A\sigma$

N

$N$

1 / \sqrt{N}

$1/\sqrt{N}$

0

$0$

— whuber

+1, plus es ist nicht skalierungsinvariant usw. (eine Bedingung für einen Moment dieser Form erforderlich)

— Nikos M.

@Nikos Danke, aber was ist nicht skalinvariant? Sowohl als auch ändern sich, wenn die Daten neu skaliert werden.

S D / \sqrt{N}

$SD/\sqrt{N}$

S D

$SD$

— Whuber

Angenommen, Ihre Stichprobe enthält nur zwei Realisierungen. Ich denke, ein intuitives Maß für die Streuung wäre die durchschnittliche absolute Abweichung (AAD).

EIN EIN D = \frac{1}{2} (| x_{1} - \bar{x} | + | x_{2} - \bar{x} |) = . . . = \frac{| x_{1} - x_{2} |}{2}

$AAD = \frac 12 (|x_1-\bar x| + |x_2-\bar x|) = ...= \frac {|x_1-x_2|}{2}$

Wir möchten also, dass andere Dispersionsmaße auf der gleichen Ebene der Maßeinheiten "nahe" an den obigen liegen.

Die Stichprobenvarianz ist definiert als

σ^{2} = \frac{1}{2} [(x_{1} - \bar{x})^{2} + (x_{2} - \bar{x})^{2}] = \frac{1}{2} [{(\frac{x_{1} - x_{2}}{2})}^{2} + {(\frac{x_{2} - x_{1}}{2})}^{2}]

$\sigma^2=\frac{1}{2}[(x_1-\bar x)^2 + (x_2-\bar x)^2] = \frac 12 \left[\left(\frac {x_1-x_2}{2}\right)^2 + \left(\frac {x_2-x_1}{2}\right)^2\right]$

= \frac{1}{2} [\frac{(x_{1} - x_{2})^{2}}{4} + \frac{(x_{1} - x_{2})^{2}}{4}] = \frac{1}{2} \frac{(x_{1} - x_{2})^{2}}{2}

$=\frac 12 \left[\frac {(x_1-x_2)^2}{4} + \frac {(x_1-x_2)^2}{4}\right]=\frac 12 \frac {(x_1-x_2)^2}{2}$

= \frac{1}{2} \cdot \frac{| x_{1} - x_{2} |^{2}}{2}

$=\frac 12\cdot \frac {|x_1-x_2|^2}{2}$

$q$

q \equiv \frac{1}{2} \cdot \sqrt{\frac{| x_{1} - x_{2} |^{2}}{2}} = \frac{1}{2} \frac{| x_{1} - x_{2} |}{\sqrt{2}} = \frac{1}{\sqrt{2}} EIN EIN D < EIN EIN D

$q \equiv \frac 12\cdot \sqrt {\frac {|x_1-x_2|^2}{2}} = \frac 12 \frac {|x_1-x_2|}{\sqrt 2} = \frac 1{\sqrt 2} AAD < AAD$

dh wir hätten das "intuitive" Maß der Streuung "heruntergespielt", während wir, wenn wir die Standardabweichung wie definiert betrachtet hätten,

S D \equiv \sqrt{σ^{2}} = \frac{| x_{1} - x_{2} |}{2} = EIN EIN D

$SD \equiv \sqrt {\sigma^2} = \frac {|x_1-x_2|}{2} =AAD$

$SD$

$n$

n \cdot EIN EIN D = \sum_{ich = 1}^{n} | x_{ich} - \bar{x} |

$n\cdot AAD = \sum_{i=1}^n |x_i-\bar x|$

und

n \cdot Var (X) = \sum_{ich = 1}^{n} (x_{ich} - \bar{x})^{2} = \sum_{ich = 1}^{n} | x_{ich} - \bar{x} |^{2}

$n \cdot \text{Var}(X) = \sum_{i=1}^n (x_i-\bar x)^2 = \sum_{i=1}^n |x_i-\bar x|^2$

Wir können die rechte Seite des Varianzausdrucks als schreiben

\sum_{ich = 1}^{n} | x_{ich} - \bar{x} |^{2} = {(\sum_{ich = 1}^{n} | x_{ich} - \bar{x} |)}^{2} - \sum_{j \neq ich} | x_{ich} - \bar{x} | | x_{j} - \bar{x} |

$\sum_{i=1}^n |x_i-\bar x|^2 = \left(\sum_{i=1}^n |x_i-\bar x|\right)^2 - \sum_{j\neq i} |x_i-\bar x||x_j-\bar x|$

= {(n \cdot EIN EIN D)}^{2} - \sum_{j \neq ich} | x_{ich} - \bar{x} | | x_{j} - \bar{x} |

$= \left (n\cdot AAD\right)^2 - \sum_{j\neq i} |x_i-\bar x||x_j-\bar x|$

$q_n$

q_{n} \equiv \frac{1}{n} {[n^{2} \cdot EIN EIN D^{2} - \sum_{j \neq ich} | x_{ich} - \bar{x} | | x_{j} - \bar{x} |]}^{1 / 2}

$q_n \equiv \frac 1n \left[n^2\cdot AAD^2 - \sum_{j\neq i} |x_i-\bar x||x_j-\bar x|\right]^{1/2}$

= {[EIN EIN D^{2} - \frac{1}{n^{2}} \sum_{j \neq ich} | x_{ich} - \bar{x} | | x_{j} - \bar{x} |]}^{1 / 2}

$= \left[AAD^2 - \frac 1{n^2} \sum_{j\neq i} |x_i-\bar x||x_j-\bar x|\right]^{1/2}$

$\sum_{j\neq i} |x_i-\bar x||x_j-\bar x|$ $n^2-n$ $n^2$ $AAD^2$ $q_n$ $n$

S D \equiv \frac{1}{\sqrt{n}} {[n^{2} \cdot EIN EIN D^{2} - \sum_{j \neq ich} | x_{ich} - \bar{x} | | x_{j} - \bar{x} |]}^{1 / 2}

$SD \equiv \frac 1{\sqrt n} \left[n^2\cdot AAD^2 - \sum_{j\neq i} |x_i-\bar x||x_j-\bar x|\right]^{1/2}$

= {[n \cdot EIN EIN D^{2} - \frac{1}{n} \sum_{j \neq ich} | x_{ich} - \bar{x} | | x_{j} - \bar{x} |]}^{1 / 2}

$= \left[n\cdot AAD^2 - \frac 1{n} \sum_{j\neq i} |x_i-\bar x||x_j-\bar x|\right]^{1/2}$

$n$ $n-1$ $n$
$n$ $n\rightarrow \infty$

— Alecos Papadopoulos
quelle

Obwohl diese Antwort interessant ist, glaube ich, dass es wichtigere, überzeugendere und rigorosere Erklärungen gibt (von denen ich in meiner eigenen Antwort nur einige angeführt habe: Es könnte noch viel mehr gesagt werden, insbesondere in Bezug auf die Rolle des SD im zentralen Grenzwertsatz und algebraische Regeln für die Berechnung von SDs von Summen unabhängiger Zufallsvariablen).

— Whuber

Sicherlich. Ich habe mich gerade für den Ansatz "Die Glocke hat geklingelt" entschieden, um die Unterbrechung des Schülers zu zerstören!

— Alecos Papadopoulos