Wert, der die Standardabweichung erhöht

12

Die folgende Aussage verwirrt mich:

"Um die Standardabweichung einer Reihe von Zahlen zu erhöhen, müssen Sie einen Wert hinzufügen, der mehr als eine Standardabweichung vom Mittelwert entfernt ist."

Was ist der Beweis dafür ? Ich weiß natürlich, wie wir die Standardabweichung definieren, aber dieser Teil scheint mir irgendwie zu fehlen. Irgendwelche Kommentare?

standard-deviation

— JohnK
quelle

1

Haben Sie versucht, die Algebra zu erarbeiten?

— Alecos Papadopoulos

Ja, habe ich. Ich habe die Stichprobenvarianz von n Werten von der Varianz von n + 1 Werten subtrahiert und ich habe verlangt, dass die Differenz größer als Null ist. Dennoch kann ich es nicht ganz herausfinden.

— JohnK

3

Eine der einfachsten Möglichkeiten besteht darin, den Welford-Algorithmus in Bezug auf den neuen Wert zu differenzieren und dann zu integrieren, um zu zeigen, dass, wenn die Varianz erhöht, wobei der Mittelwert der ersten Werte ist und ihre Varianzschätzung ist.

x_{n}

$x_n$

x_{n}

$x_n$

(x_{n} - {\bar{x}}_{n - 1})^{2} \geq \frac{n}{n - 1} v_{n - 1}

$(x_n-\bar{x}_{n-1})^2 \ge \frac{n}{n-1}v_{n-1}$

{\bar{x}}_{n - 1}

$\bar{x}_{n-1}$

n - 1

$n-1$

v_{n - 1}

$v_{n-1}$

— whuber

Okay, aber kann das vielleicht mit einfacher Algebra gezeigt werden? Meine statistischen Kenntnisse sind noch nicht so weit fortgeschritten.

— JohnK

@ JohnK, können Sie bitte die Quelle des Zitats teilen?

— Pe Dro

20

Für alle Zahlen mit dem Mittelwert $N$ $y_1,y_2, \ldots, y_N$ , die Varianz ist gegeben durch $\displaystyle \bar{y} = \frac{1}{N}\sum_{i=1}^N y_i$ Anwenden vonauf die gegebene Menge vonZahlen die wir zur Vereinfachung der Darstellung als Mittelwert von, wir haben

\begin{aligned} σ^{2} & = \frac{1}{N - 1} \sum_{i = 1}^{N} (y_{i} - \bar{y})^{2} \\ = \frac{1}{N - 1} \sum_{i = 1}^{N} (y_{i}^{2} - 2 y_{i} \bar{y} + {\bar{y}}^{2}) \\ = \frac{1}{N - 1} [(\sum_{i = 1}^{N} y_{i}^{2}) - 2 N (\bar{y})^{2} + N (\bar{y})^{2}] \\ (1) & σ^{2} & = \frac{1}{N - 1} \sum_{i = 1}^{N} (y_{i}^{2} - (\bar{y})^{2}) \end{aligned}

$\begin{align} \sigma^2 &= \frac{1}{N-1}\sum_{i=1}^N (y_i-\bar{y})^2\\ &= \frac{1}{N-1}\sum_{i=1}^N \left(y_i^2 - 2y_i\bar{y} + \bar{y}^2\right)\\ &= \frac{1}{N-1}\left[\left(\sum_{i=1}^Ny_i^2\right) - 2N(\bar{y})^2 + N(\bar{y})^2 \right] \\ \sigma^2 &=\frac{1}{N-1}\sum_{i=1}^N \left(y_i^2 - (\bar{y})^2\right) \tag{1} \end{align}$

(1)

$(1)$

n

$n$

x_{1}, x_{2}, \dots x_{n}

$x_1, x_2, \ldots x_n$

\bar{x} = 0

$\bar{x} = 0$

Wenn wirdiesem Datensatznun eine neue Beobachtung

hinzufügen, dann ist der neue Mittelwert des Datensatzes

σ^{2} = \frac{1}{n - 1} \sum_{i = 1}^{n} (x_{i}^{2} - (\bar{x})^{2}) = \frac{1}{n - 1} \sum_{i = 1}^{n} x_{i}^{2}

$\sigma^2 = \frac{1}{n-1}\sum_{i=1}^n \left(x_i^2-(\bar{x})^2\right) = \frac{1}{n-1}\sum_{i=1}^n x_i^2$

x_{n + 1}

$x_{n+1}$

, während die neue Varianz

\frac{1}{n + 1} \sum_{i = 1}^{n + 1} x_{i} = \frac{n \bar{x} + x_{n + 1}}{n + 1} = \frac{x_{n + 1}}{n + 1}

$\frac{1}{n+1}\sum_{i=1}^{n+1}x_i = \frac{n\bar{x} + x_{n+1}}{n+1} = \frac{x_{n+1}}{n+1}$

Also

muss größer als

\begin{aligned} {\hat{σ}}^{2} & = \frac{1}{n} \sum_{i = 1}^{n + 1} (x_{i}^{2} - \frac{x_{n + 1}^{2}}{(n + 1)^{2}}) \\ = \frac{1}{n} [((n - 1) σ^{2} + x_{n + 1}^{2}) - \frac{x_{n + 1}^{2}}{n + 1}] \\ = \frac{1}{n} [(n - 1) σ^{2} + \frac{n}{n + 1} x_{n + 1}^{2}] \\ > σ^{2} only if x_{n + 1}^{2} > \frac{n + 1}{n} σ^{2} . \end{aligned}

$\begin{align} \hat{\sigma}^2 &= \frac{1}{n}\sum_{i=1}^{n+1} \left(x_i^2-\frac{x_{n+1}^2}{(n+1)^2}\right)\\ &= \frac{1}{n}\left[\left((n-1)\sigma^2 + x_{n+1}^2\right) - \frac{x_{n+1}^2}{n+1}\right]\\ &= \left.\left.\frac{1}{n}\right[(n-1)\sigma^2 + \frac{n}{n+1}x_{n+1}^2\right]\\ &> \sigma^2 ~ \text{only if}~ x_{n+1}^2 > \frac{n+1}{n}\sigma^2. \end{align}$

| x_{n + 1} |

$|x_{n+1}|$

oder allgemeiner

muss sich vom Mittelwert mean

des ursprünglichen Datensatzes um mehr als

σ \sqrt{1 + \frac{1}{n}}

$\displaystyle\sigma\sqrt{1+\frac{1}{n}}$

x_{n + 1}

$x_{n+1}$

\bar{x}

$\bar{x}$

, damit der erweiterte Datensatz eine größere Varianz aufweist als der ursprüngliche Datensatz. Siehe auch die Antwort von Ray Koopman, in der darauf hingewiesen wird, dass die neue Varianz größer, gleich oder kleiner als die ursprüngliche Varianz gemäß

sich vom Mittelwert um mehr, genau oder weniger als

σ \sqrt{1 + \frac{1}{n}}

$\displaystyle\sigma\sqrt{1+\frac{1}{n}}$

x_{n + 1}

$x_{n+1}$

.

σ \sqrt{1 + \frac{1}{n}}

$\displaystyle\sigma\sqrt{1+\frac{1}{n}}$

— Dilip Sarwate
quelle

5

+1 Endlich macht es jemand richtig ... ;-) Die zu beweisende Aussage ist richtig; Es ist einfach nicht eng. Übrigens können Sie auch Ihre Maßeinheiten so auswählen, dass

, was die Berechnung weiter vereinfacht und auf etwa zwei Zeilen reduziert.

σ^{2} = 1

$\sigma^2=1$

— Whuber

Ich schlage vor, Sie verwenden S anstelle von Sigma im ersten Satz von Gleichungen und danke für die Herleitung. Es war gut zu wissen :)

— Theoden

3

Die rätselhafte Aussage gibt eine notwendige, aber unzureichende Bedingung für die Erhöhung der Standardabweichung an. Wenn die alte Stichprobengröße , der alte Mittelwert , die alte Standardabweichung ist und ein neuer Punkt zu den Daten hinzugefügt wird, ist die neue Standardabweichung entsprechend kleiner, gleich oder größer als als ist kleiner als, gleich oder größer als $n$ $m$ $s$ $x$ $s$ $|x-m|$ . $s\sqrt{1+1/n}$

— Ray Koopman
quelle

1

Haben Sie einen Beweis zur Hand?

— JohnK

2

Wenn Sie die Algebra (die auch funktioniert) beiseite lassen, denken Sie so: Die Standardabweichung ist die Quadratwurzel der Varianz. Die Varianz ist der Durchschnitt der quadratischen Abstände vom Mittelwert. Wenn wir einen Wert hinzufügen, der näher am Mittelwert liegt, wird die Varianz kleiner. Wenn wir einen Wert hinzufügen, der weiter vom Mittelwert entfernt ist, wächst er.

Dies gilt für jeden Durchschnitt von Werten, die nicht negativ sind. Wenn Sie einen Wert hinzufügen, der über dem Mittelwert liegt, erhöht sich der Mittelwert. Wenn Sie einen niedrigeren Wert hinzufügen, wird dieser verringert.

— Peter Flom - Wiedereinsetzung von Monica
quelle

Ich würde gerne auch einen strengen Beweis sehen. Während ich das Prinzip verstehe, bin ich verwirrt darüber, dass der Wert mindestens 1 Abweichung vom Mittelwert betragen muss. Warum genau 1?

— JohnK

Ich sehe nicht, was verwirrend ist. Die Varianz ist der Durchschnitt. Wenn Sie etwas hinzufügen, das über dem Durchschnitt liegt (dh mehr als 1 sd), steigt es an. Aber ich bin keiner für formelle Beweise

— Peter Flom - Wiedereinsetzung von Monica

Sie könnte um 0,2 Standardabweichungen über dem Durchschnitt liegen. Warum würde es dann nicht zunehmen?

— JohnK

Nein, nicht größer als der Mittelwert der Daten, größer als die Varianz, die der Mittelwert der quadratischen Abstände ist.

— Peter Flom - Wiedereinsetzung von Monica

4

Dies ist verwirrend, da sich durch das Hinzufügen eines neuen Werts der Mittelwert ändert und sich alle Residuen ändern. Es ist vorstellbar, dass selbst wenn der neue Wert weit vom alten Mittelwert entfernt ist, sein Beitrag zur SD durch Reduzieren der Quadratsumme der Residuen der anderen Werte kompensiert werden könnte. Dies ist einer der vielen Gründe, warum strenge Beweise nützlich sind: Sie bieten nicht nur Sicherheit im eigenen Wissen, sondern auch Einblicke (und sogar neue Informationen). Der Beweis zeigt zum Beispiel, dass Sie einen neuen Wert hinzufügen müssen, der strikt weiter als eine SD vom Mittelwert entfernt ist, um die SD zu erhöhen.

— whuber

2

I'll get you started on the algebra, but won't take it quite all of the way. First, standardize your data by subtracting the mean and dividing by the standard deviation:

Z = \frac{x - μ}{σ} .

$Z = \frac{x-\mu}{\sigma} .$ Note that if

x

$x$ is within one standard deviation of the mean,

Z

$Z$ is between -1 and 1. Z would be 1 if

x

$x$ were exactly one sd away from the mean. Then look at your equation for standard deviation:

σ = \sqrt{\frac{\sum_{i = 1}^{N} Z_{i}^{2}}{N - 1}}

$\sigma = \sqrt{\frac{\sum_{i=1}^{N}Z_i^2}{N-1}}$ What happens to

σ

$\sigma$ if

Z_{N}

$Z_N$ is between -1 and 1?

— wcampbell
quelle

A number whose absolute value is less than 1, when squared it is also going to be less than 1 in abs. value. Yet what I do not understand is that even if Z_N falls into that category, we are adding a positive value to σ, so shouldn't it increase?

— JohnK

Yes, you are adding a positive value, but it will be smaller than your average deviation from the mean and therefore reduce sigma. Maybe it would make more sense to consider the value as

Z_{N + 1}

$Z_{N+1}$ .

— wcampbell

1

1) Vergiss nicht, wenn du diesen Wert hinzufügst, steigst du auch

N

$N$ um 1. 2) Sie addieren diesen Wert nicht zu

σ

$\sigma$ , you are adding it to

\sum Z_{i}^{2}

$\sum Z_i^2$ .

— jbowman

Exactly what I was trying to express!

— wcampbell

It's not that simple: in this answer you have computed the SD as if the new value were already part of the dataset. Instead, the

Z_{i}

$Z_i$ have to be standardized with respect to the SD and mean of the first

N - 1

$N-1$ values only, not all of them.

— whuber