Intuitive Erklärung zur Division durch bei der Berechnung der Standardabweichung?

Ich wurde heute in der Klasse gefragt, warum Sie bei der Berechnung der Standardabweichung die Summe der quadratischen Fehler durch anstelle von dividieren .$n-1$$n$

Ich sagte, ich werde es nicht im Unterricht beantworten (da ich mich nicht mit unvoreingenommenen Schätzern befassen wollte), aber später fragte ich mich - gibt es eine intuitive Erklärung dafür ?!

Die mit einem Teiler von berechnete Standardabweichung ist eine aus der Stichprobe berechnete Standardabweichung als Schätzung der Standardabweichung der Grundgesamtheit, aus der die Stichprobe gezogen wurde. Da die beobachteten Werte im Durchschnitt näher am Stichprobenmittelwert als am Populationsmittelwert liegen, unterschätzt die Standardabweichung, die anhand der Abweichungen vom Stichprobenmittelwert berechnet wird, die gewünschte Standardabweichung der Population. Die Verwendung von anstelle von als Divisor korrigiert dies, indem das Ergebnis ein wenig größer wird.n - 1 $n-1$$n-1$$n$

Beachten Sie, dass die Korrektur einen größeren proportionalen Effekt hat, wenn klein ist als wenn es groß ist, was wir wollen, da der Stichprobenmittelwert bei n wahrscheinlich ein guter Schätzer für den Populationsmittelwert ist.$n$

Wenn die Probe die gesamte Bevölkerung ist verwenden wir die Standardabweichung mit als Divisor , da die Probe bedeutet , ist Bevölkerung bedeuten.$n$

(Ich stelle in Klammern fest, dass nichts, was mit "dem zweiten Moment um einen bekannten, bestimmten Mittelwert herum" beginnt, die Anfrage des Fragestellers nach einer intuitiven Erklärung erfüllen wird.)

Eine übliche ist, dass die Definition der Varianz (einer Verteilung) der zweite Moment ist, der um einen bekannten, bestimmten Mittelwert neu zentriert wird , während der Schätzer einen geschätzten Mittelwert verwendet. Dieser Verlust eines Freiheitsgrades (angesichts des Mittelwerts können Sie den Datensatz mit Kenntnis von nur der Datenwerte wiederherstellen ) erfordert die Verwendung von anstelle von , um das Ergebnis "anzupassen".n - 1 $n-1$$n-1$$n$

Eine solche Erklärung steht im Einklang mit den geschätzten Abweichungen bei der ANOVA- und Varianzkomponentenanalyse. Es ist wirklich nur ein Sonderfall.

Die Notwendigkeit, macht einige Anpassungen , die die Varianz aufbläst kann, glaube ich, mit einem gültigen Argumente intuitiv klar gemacht werden , dass nicht nur ist ex post facto von Hand winken. (Ich erinnere mich, dass Student in seinem Artikel über den t-Test von 1908 möglicherweise ein derartiges Argument vorgebracht hat.) Warum die Anpassung der Varianz genau ein Faktor von ist schwieriger zu rechtfertigen, besonders wenn man bedenkt dass die bereinigte SD kein unvoreingenommener Schätzer ist. (Es ist lediglich die Quadratwurzel eines unverzerrten Schätzers der Varianz. Unverzerrt zu sein überlebt normalerweise keine nichtlineare Transformation.) Tatsächlich ist die korrekte Anpassung der SD zum Entfernen ihrer Verzerrung kein Faktor von$n/(n-1)$$\sqrt{n/(n-1)}$ überhaupt!

Einige Einführungslehrbücher machen sich nicht einmal die Mühe, die angepasste SD einzuführen: Sie lehren eine Formel (dividieren durch ). Ich habe zuerst negativ darauf reagiert, als ich aus einem solchen Buch unterrichtet habe, aber zunehmend die Weisheit erkannt: Um mich auf die Konzepte und Anwendungen zu konzentrieren, streifen die Autoren alle unwesentlichen mathematischen Feinheiten heraus. Es stellt sich heraus, dass nichts verletzt und niemand irregeführt wird.$n$

Per Definition wird die Varianz berechnet, indem die Summe der quadrierten Differenzen aus dem Mittelwert und der Division durch die Größe gebildet wird. Wir haben die allgemeine Formel

μ$\sigma^2= \frac{\sum_{i}^{N}(X_i-\mu)^2}{N}$ wobei der Mittelwert und die Größe der Population ist.$\mu$$N$

Entsprechend dieser Definition muss auch die Varianz einer Stichprobe (zB Stichprobe ) auf diese Weise berechnet werden.$t$

¯ X$\sigma^2_t= \frac{\sum_{i}^{n}(X_i-\overline{X})^2}{n}$ wobei der Mittelwert ist und die Größe dieser kleinen Stichprobe ist .$\overline{X}$$n$

Mit Stichprobenvarianz meinen wir jedoch einen Schätzer der Populationsvarianz . Wie können wir nur unter Verwendung der Werte aus der Stichprobe schätzen ?σ 2 σ $S^2$$\sigma^2$$\sigma^2$

Entsprechend den obigen Formeln weicht die Zufallsvariable vom Stichprobenmittelwert mit der Varianz . Der Stichprobenmittelwert weicht ebenfalls von mit der Varianz da der Stichprobenmittelwert von Stichprobe zu Stichprobe unterschiedliche Werte erhält und es sich um eine Zufallsvariable mit dem Mittelwert und der Varianz . (Man kann leicht beweisen.)¯ X σ 2 t ¯ X μ σ $X$$\overline{X}$$\sigma^2_t$$\overline{X}$$\mu$ μσ$\frac{\sigma^2}{n}$$\mu$$\frac{\sigma^2}{n}$

Daher sollte grob von mit einer Varianz abweichen , die zwei Varianzen umfasst. Addieren Sie also diese beiden und erhalten Sie . Durch Lösen dieses wir . Sie ersetzen, erhalten unseren Schätzer für die Populationsvarianz:μ σ 2 = σ 2 t + σ $X$$\mu$ σ2=σ 2 t ×$\sigma^2=\sigma^2_t+\frac{\sigma^2}{n}$ σ 2 $\sigma^2=\sigma^2_t \times\frac{n}{n-1}$$\sigma^2_t$

$S^2= \frac{\sum_{i}^{n}(X_i-\overline{X})^2}{n-1}$ .

Man kann auch beweisen, dass wahr ist.$E[S^2]=\sigma^2$

Dies ist eine totale Intuition, aber die einfachste Antwort ist, dass eine Korrektur vorgenommen wird, um die Standardabweichung einer Ein-Element-Stichprobe undefiniert zu machen, anstatt 0.

Sie können ein tieferes Verständnis des Begriffs allein durch Geometrie erlangen , nicht nur, warum es nicht sondern warum es genau diese Form annimmt, sondern Sie müssen möglicherweise zuerst Ihre Intuition aufbauen, um mit dimensionaler Geometrie fertig zu werden. Von dort aus ist es jedoch ein kleiner Schritt zu einem tieferen Verständnis der Freiheitsgrade in linearen Modellen (dh Modell df und Residuum df). Ich glaube, es gibt kaum Zweifel, dass Fisher so gedacht hat. Hier ist ein Buch, das es schrittweise aufbaut:n $n-1$$n$$n$

Saville DJ, Wood GR. Statistische Methoden: der geometrische Ansatz . 3. Auflage. New York: Springer-Verlag; 1991. 560 Seiten. 9780387975177

(Ja, 560 Seiten. Ich habe nach und nach gesagt.)

Der Schätzer der Populationsvarianz ist verzerrt, wenn er auf eine Stichprobe der Population angewendet wird. Um diese Verzerrung auszugleichen, muss durch n-1 anstelle von n dividiert werden. Man kann mathematisch zeigen, dass der Schätzer der Stichprobenvarianz unverzerrt ist, wenn wir durch n-1 anstelle von n dividieren. Ein formeller Beweis wird hier erbracht:

https://economictheoryblog.com/2012/06/28/latexlatexs2/

Anfangs war es wohl die mathematische Korrektheit, die zur Formel führte. Möchte man einer Formel jedoch Intuition hinzufügen, erscheinen die bereits erwähnten Vorschläge vernünftig.

Erstens liegen die Beobachtungen einer Stichprobe im Durchschnitt näher am Stichprobenmittelwert als am Bevölkerungsmittelwert. Der Varianzschätzer verwendet den Stichprobenmittelwert und unterschätzt folglich die wahre Varianz der Grundgesamtheit. Die Division durch n-1 anstelle von n korrigiert diese Abweichung.

Durch Division durch n-1 wird die Varianz einer Ein-Element-Stichprobe undefiniert und nicht null.

$n-1$$n$

$n$$n-1$

$\alpha z^2 + 2\beta z + \gamma$$z = -\frac{\beta}{\alpha}$$n$$x_1, x_2, \ldots, x_n$

$$G(a) = \sum_{i=1}^n (x_i-a)^2 = \left(\sum_{i=1}^n x_i^2\right) -2a\left(\sum_{i=1}^n x_i\right) + na^2,$$ $\displaystyle a = \frac 1n \sum_{i=1}^n x_i =\bar{x}$

$x_i$$n$$\mu$$\sigma^2$$\mu$$\frac 1n \sum_{i=1}^n x_i = \bar{x}$$\sigma^2$$\frac 1n \sum_{i=1}^n (x_i-\mu)^2 = n^{-1}G(\mu)$$\mu$$G(\bar{x})$$G(\mu) \geq G(\bar{x})$$G(\mu)$$G(\mu)$$G(\bar{x})$$\frac{n}{n-1}$n-1G(μ)=

$$G(\mu) \approx \frac{n}{n-1}G(\bar{x})\tag{1}$$ $\displaystyle n^{-1}G(\mu)= \frac 1n\sum_{i=1}^n(x_i-\mu)^2$$\displaystyle \frac{1}{n-1}G(\bar{x}) = \frac{1}{n-1}\sum_{i=1}^n (x_i-\bar{x})^2.$

Was ist nun eine intuitive Erklärung von ? Nun, wir haben das seit . Nun $(1)$

$$\begin{align} G(\mu) &= \sum_{i=1}^n (x_i-\mu)^2\\ &= \sum_{i=1}^n (x_i-\bar{x} + \bar{x}-\mu)^2\\ &= \sum_{i=1}^n \left((x_i-\bar{x})^2 + (\bar{x}-\mu)^2 + 2(x_i-\bar{x})(\bar{x}-\mu)\right)\\ &= G(\bar{x}) + n(\bar{x}-\mu)^2 + (\bar{x}-\mu)\sum_{i=1}^n(x_i-\bar{x})\\ &= G(\bar{x}) + n(\bar{x}-\mu)^2 \tag{2} \end{align}$$ $\sum_{i=1}^n (x_i-\bar{x}) = n\bar{x}-n\bar{x} = 0$ $$\begin{align} n(\bar{x}-\mu)^2 &= n\frac{1}{n^2}\left(\sum_{i=1}^n(x_i-\mu)\right)^2\\ &= \frac 1n \sum_{i=1}^n(x_i-\mu)^2 + \frac 2n \sum_{i=1}^n\sum_{j=i+1}^n(x_i-\mu)(x_j-\mu)\\ &= \frac 1n G(\mu) + \frac 2n \sum_{i=1}^n\sum_{j=i+1}^n(x_i-\mu)(x_j-\mu)\tag{3} \end{align}$$ Außer wenn wir eine außergewöhnlich ungewöhnliche Stichprobe haben, in der alle größer als (oder alle kleiner als ), die Summanden in der doppelten Summe rechts Seite von nehmen sowohl positive als auch negative Werte an und daher treten viele Stornierungen auf. Es ist also zu erwarten, dass die Doppelsumme einen kleinen absoluten Wert hat, und wir ignorieren ihn einfach im Vergleich zum auf der rechten Seite von . Somit wird zu gemäß$x_i$$\mu$$\mu$$(x_i-\mu)(x_j-\mu)$$(3)$$\frac 1nG(\mu)$$(3)$$(2)$ $$G(\mu) \approx G(\bar{x}) + \frac 1nG(\mu) \Longrightarrow G(\mu) \approx \frac{n}{n-1}G(\bar{x})$$ $(1)$ .

Man kann sich die Stichprobenvarianz als den exakten Mittelwert der paarweisen "Energie" zwischen allen Stichprobenpunkten vorstellen. Die Definition der Stichprobenvarianz wird dann zu $(x_i-x_j)^2/2$

$$s^2 = \frac{2}{n(n-1)}\sum_{i< j}\frac{(x_i-x_j)^2}{2} = \frac{1}{n-1}\sum_{i=1}^n(x_i-\bar{x})^2 .$$

Dies stimmt auch mit der Definition der Varianz einer Zufallsvariablen als Erwartung der paarweisen Energie überein, dh seien und unabhängige Zufallsvariablen mit derselben Verteilung, dann gilt $X$$Y$

$$V(X) = E\left(\frac{(X-Y)^2}{2}\right) = E((X-E(X))^2) .$$

Um von der zufälligen Variablendefinition zur Definition der Stichprobenvarianz zu gelangen, muss eine Erwartung durch einen Mittelwert geschätzt werden, der durch das philosophische Prinzip der Typizität gerechtfertigt werden kann: Die Stichprobe ist eine typische Darstellung der Verteilung. (Beachten Sie, dass dies mit der Schätzung nach Momenten zusammenhängt, jedoch nicht mit dieser.)

Angenommen, Sie haben ein zufälliges Phänomen. Angenommen, Sie erhalten nur eine Stichprobe oder Realisierung . Ohne weitere Annahmen ist Ihre "einzige" vernünftige Wahl für einen Stichprobenmittelwert . Wenn Sie nicht von Ihrem Nenner subtrahieren , ist die (unkorrekte) Stichprobenvarianz , oder:$N=1$$x$$\overline{m}=x$$1$

$$V=\frac{\sum_N (x_n - \overline{m} )^2}{N}$$

$$\overline{V}=\frac{(x-\overline{m})^2}{1} = 0\,.$$

Seltsamerweise wäre die Varianz bei nur einer Stichprobe null. Und wenn Sie eine zweite Stichprobe das Risiko, dass sich Ihre Varianz erhöht, wenn . Das macht keinen Sinn. Intuitiv wäre eine unendliche Varianz ein vernünftigeres Ergebnis, und Sie können es nur durch "Teilen durch " wiederherstellen .$y$$x\neq y$$N-1=0$

Das Schätzen eines Mittelwerts entspricht dem Anpassen eines Polynoms mit dem Grad an die Daten mit einem Freiheitsgrad (dof). Diese Bessel-Korrektur gilt auch für Modelle mit höheren Freiheitsgraden: Natürlich können Sie Punkte mit einem Grad-Polynom und Dofs perfekt anpassen. Die Illusion eines Nullquadratfehlers kann nur durch Division durch die Anzahl der Punkte minus der Anzahl der Dofs ausgeglichen werden. Dieses Problem ist besonders heikel, wenn es sich um sehr kleine experimentelle Datensätze handelt .$0$$d+1$$d$$d+1$

Auf Vorschlag von whuber wurde diese Antwort von einer anderen ähnlichen Frage übernommen .

Die Bessel-Korrektur wird angewendet, um die Abweichung bei der Verwendung der Stichprobenvarianz als Schätzer der wahren Varianz zu korrigieren. Die Verzerrung in der unkorrigierten Statistik tritt auf, weil der Stichprobenmittelwert näher an der Mitte der Beobachtungen liegt als der wahre Mittelwert, und daher unterschätzen die quadratischen Abweichungen um den Stichprobenmittelwert systematisch die quadratischen Abweichungen um den wahren Mittelwert.

Um dieses Phänomen algebraisch zu sehen, leiten Sie einfach den erwarteten Wert einer Stichprobenvarianz ohne Bessels Korrektur ab und sehen Sie, wie es aussieht. Wenn wir die unkorrigierte Stichprobenvarianz bezeichnen (mit als Nenner), haben wir:$S_*^2$$n$

$$\begin{equation} \begin{aligned} S_*^2 &= \frac{1}{n} \sum_{i=1}^n (X_i - \bar{X})^2 \\[8pt] &= \frac{1}{n} \sum_{i=1}^n (X_i^2 - 2 \bar{X} X_i + \bar{X}^2) \\[8pt] &= \frac{1}{n} \Bigg( \sum_{i=1}^n X_i^2 - 2 \bar{X} \sum_{i=1}^n X_i + n \bar{X}^2 \Bigg) \\[8pt] &= \frac{1}{n} \Bigg( \sum_{i=1}^n X_i^2 - 2 n \bar{X}^2 + n \bar{X}^2 \Bigg) \\[8pt] &= \frac{1}{n} \Bigg( \sum_{i=1}^n X_i^2 - n \bar{X}^2 \Bigg) \\[8pt] &= \frac{1}{n} \sum_{i=1}^n X_i^2 - \bar{X}^2. \end{aligned} \end{equation}$$

Die erwarteten Erträge nehmen:

$$\begin{equation} \begin{aligned} \mathbb{E}(S_*^2) &= \frac{1}{n} \sum_{i=1}^n \mathbb{E}(X_i^2) - \mathbb{E} (\bar{X}^2) \\[8pt] &= \frac{1}{n} \sum_{i=1}^n (\mu^2 + \sigma^2) - (\mu^2 + \frac{\sigma^2}{n}) \\[8pt] &= (\mu^2 + \sigma^2) - (\mu^2 + \frac{\sigma^2}{n}) \\[8pt] &= \sigma^2 - \frac{\sigma^2}{n} \\[8pt] &= \frac{n-1}{n} \cdot \sigma^2 \\[8pt] \end{aligned} \end{equation}$$

Sie sehen also, dass die nicht korrigierte Stichprobenvarianzstatistik die wahre Varianz . Die Besselsche Korrektur ersetzt den Nenner durch was einen unverzerrten Schätzer ergibt. In der Regressionsanalyse wird dies auf den allgemeineren Fall ausgedehnt, in dem der geschätzte Mittelwert eine lineare Funktion mehrerer Prädiktoren ist und in diesem letzteren Fall der Nenner für die geringere Anzahl von Freiheitsgraden weiter reduziert wird.$\sigma^2$$n-1$

Im Allgemeinen ergibt die Verwendung von "n" im Nenner kleinere Werte als die Populationsvarianz, die wir schätzen möchten. Dies ist insbesondere dann der Fall, wenn die kleinen Proben entnommen werden. In der Sprache der Statistik sagen wir, dass die Stichprobenvarianz eine "voreingenommene" Schätzung der Populationsvarianz liefert und "unvoreingenommen" gemacht werden muss.

Wenn Sie nach einer intuitiven Erklärung suchen, sollten Sie Ihren Schülern den Grund für diese Erklärung an Hand von Stichproben zeigen! Beobachten Sie dies, es beantwortet genau Ihre Frage.

https://www.youtube.com/watch?v=xslIhnquFoE

Der Stichprobenmittelwert ist definiert als , was sehr intuitiv ist. Die Stichprobenvarianz ist jedoch . Woher kommt die ?$\bar{X} = \frac{1}{n}\sum_{i=1}^{n} X_i$$S^2 = \frac{1}{n-1}\sum_{i=1}^{n} (X_i - \bar{X})^2$$n - 1$

Um diese Frage zu beantworten, müssen wir zur Definition eines unvoreingenommenen Schätzers zurückkehren. Ein unvoreingenommener Schätzer ist einer, dessen Erwartung zur wahren Erwartung tendiert. Der Stichprobenmittelwert ist ein unvoreingenommener Schätzer. Um zu sehen warum:

$$E[\bar{X}] = \frac{1}{n}\sum_{i=1}^{n} E[X_i] = \frac{n}{n} \mu = \mu$$

Lassen Sie uns die Erwartung der Stichprobenvarianz betrachten,

$$S^2 = \frac{1}{n-1} \sum_{i=1}^{n} (X_i^2) - n\bar{X}^2$$

$$E[S^2] = \frac{1}{n-1} \left( n E[(X_i^2)] - nE[\bar{X}^2] \right).$$

Beachten Sie, dass eine Zufallsvariable und keine Konstante ist, sodass die Erwartung eine Rolle spielt. Dies ist der Grund für die .$\bar{X}$$E[\bar{X}^2]$$n-1$

$$E[S^2] = \frac{1}{n-1} \left( n (\mu^2 + \sigma^2) - n(\mu^2 + Var(\bar{X})) \right).$$ $$Var(\bar{X}) = Var(\frac{1}{n}\sum_{i=1}^{n} X_i) = \sum_{i=1}^{n} \frac{1}{n^2} Var(X_i) = \frac{\sigma^2}{n}$$

$$E[S^2] = \frac{1}{n-1} \left( n (\mu^2 + \sigma^2) - n(\mu^2 + \sigma^2/n) \right). = \frac{(n-1)\sigma^2}{n-1} = \sigma^2 \\ $$

Wie Sie sehen, wenn wir den Nenner als anstelle von , würden wir eine voreingenommene Schätzung für die Varianz erhalten! Aber mit der Schätzer ein unverzerrter Schätzer.$n$$n-1$$n-1$$S^2$

Ich denke, es lohnt sich, auf den Zusammenhang mit der Bayes'schen Schätzung hinzuweisen. Angenommen, Sie nehmen an, Ihre Daten sind Gauß-Daten und messen den Mittelwert und die Varianz einer Stichprobe von Punkten. Sie möchten Rückschlüsse auf die Bevölkerung ziehen. Der Bayes'sche Ansatz würde darin bestehen, die posteriore prädiktive Verteilung über die Probe zu evaluieren, die eine generalisierte Student-T-Verteilung ist (der Ursprung des T-Tests). Diese Verteilung hat Mittelwert und Varianzσ 2 n μ σ 2 ( n + $\mu$$\sigma^2$$n$$\mu$

$$\sigma^2 \left(\frac{n+1}{n-1}\right),$$

das ist sogar größer als die typische Korrektur. (Es hat Freiheitsgrade.)$2n$

Die verallgemeinerte Student-T-Verteilung hat drei Parameter und verwendet alle drei Ihrer Statistiken. Wenn Sie sich dazu entschließen, einige Informationen zu verwerfen, können Sie Ihre Daten mithilfe einer Zwei-Parameter-Normalverteilung wie in Ihrer Frage beschrieben weiter annähern.

Vom bayesianischen Standpunkt aus können Sie sich vorstellen, dass Unsicherheiten in den Hyperparametern des Modells (Verteilungen über den Mittelwert und die Varianz) dazu führen, dass die Varianz des posterioren Predictive größer als die Populationsvarianz ist.

Meine Güte, es wird kompliziert! Ich dachte, die einfache Antwort wäre ... wenn Sie alle Datenpunkte haben, können Sie "n" verwenden, aber wenn Sie eine "Stichprobe" haben, dann haben Sie, wenn es sich um eine Zufallsstichprobe handelt, mehr Stichprobenpunkte innerhalb der Standardabweichung als von außen (die Definition der Standardabweichung). Sie haben nur nicht genügend Daten im Freien, um sicherzustellen, dass Sie alle benötigten Datenpunkte nach dem Zufallsprinzip erhalten. Das n-1 hilft, in Richtung der "realen" Standardabweichung zu expandieren.