Varianz des gewichteten Mittelwerts größer als der ungewichtete Mittelwert

Ein Rezensent von mir fragt nach einem Grund, warum ich ungewichtete Daten anstelle von gewichteten Daten verwendet habe. Ich habe das Problem mit einem Statistiker besprochen, und seine Antwort war in etwa so

Wenn Sie unabhängige Beobachtungen haben und den Gesamtmittelwert nehmen, ist seine Varianz immer kleiner als die Varianz eines gewichteten Mittelwerts als Schätzer. ... So werden die Konfidenzintervalle erweitert!

Ich habe seitdem die folgende Frage auf dieser Website gefunden und nach meinem Verständnis schlagen sie vor, dass die Varianz gleich sein sollte. Kann also bitte jemand mit einem statistisch begabteren Verstand als meinem die Antwort des Statistikers bestätigen und die Theorie in Laienbegriffen oder anhand eines Beispiels erläutern?

variance weighted-mean weighted-data

— user08041991
quelle

Wenn die "Gewichte" tatsächlich Beobachtungs- oder Populationshäufigkeiten sind, müssen sie verwendet werden, da die ungewichteten Zahlen bedeutungslos sind. Das Zitat Ihres Statistikers gilt wahrscheinlich für eine Bevölkerung mit einer unimodalen Verteilung, obwohl es im Allgemeinen nicht zutreffen muss.

— Henry

Es wäre einfach genug, ein funktionierendes Beispiel mit mehr Kontext bereitzustellen. Was bedeuten die Gewichte? Sprechen Sie über die Varianz des Stichprobenmittelwerts? Sind die Proben aus einer endlichen Population? Mit oder ohne Ersatz?

— Henry

Nehmen wir an, wir haben eine Reihe von Herzfrequenzmessungen an einer Stichprobe von Personen in einem Krankenhaus durchgeführt. Ein Gewichtungsfaktor kann dann auf jede Person angewendet werden, um die Messungen so zu skalieren, dass sie nationale Schätzungen oder die Bevölkerung widerspiegeln - durch Vergleichen einer Reihe von Störfaktoren (z. B. Alter, Größe, Gewicht usw.).

— user08041991

Die Frage, auf die Sie verlinken, bezieht sich auf Frequenzgewichte. Hast du das?

— Mdewey

Der Mittelwert von Werten ist der gewichtete Mittelwert mit Gewichten . Wenn die unabhängig sind, implizieren grundlegende Varianzregeln Wenn zusätzlich die alle die gleiche Varianz haben , dies vereinfacht sich zu mal . Da Gewichte positiv sind und sich zu Eins summieren, wird nur minimiert, wenn . In diesem Sinne ist der Statistiker korrekt.

n

$n$

x_{i}

$x_i$

\bar{x} = \sum_{i} w_{i} x_{i}

$\bar x=\sum_iw_ix_i$

w_{i} = 1 / n

$w_i=1/n$

x_{i}

$x_i$

\begin{matrix} (1) & Var (\bar{x}) = \sum_{i} w_{i}^{2} Var (x_{i}) . \end{matrix}

$\operatorname{Var}(\bar x) =\sum_iw_i^2 \operatorname{Var}(x_i).\tag{1}$

x_{i}

$x_i$

σ^{2}

$\sigma^2$

\sum w_{i}^{2}

$\sum w_i^2$

σ^{2}

$\sigma^2$

(1)

$(1)$

w_{i} = 1 / n

$w_i=1/n$ Diese allgemeine Schlussfolgerung ist unabhängig von anderen Eigenschaften der Verteilung von , wie z. B. Unimodalität.

x_{i}

$x_i$

— whuber

Antworten:

Ihre verknüpfte Frage bezieht sich auf die Verwendung von Gewichten als Verknüpfung für den Umgang mit gleich gewichteter Varianz pro Datenpunkt, bei der einige Datenpunkte mehr als einmal vorkommen.

@whuber hat in einem Kommentar die Situation angesprochen, in der die Varianzen aller Datenpunkte gleich sind. Ich werde also auf die Situation eingehen, in der sie nicht gleich sind. In dieser Situation erzeugt der optimal gewichtete Mittelwert eine geringere Varianz als der ungewichtete, dh gleich gewichtete Mittelwert.

Der gewichtete Mittelwert unter Verwendung der Gewichte ist gleich und hat Varianz = . Wir wollen also minimieren , vorbehaltlich und für alle i. $w_i$ $\Sigma_{i=1}^n{w_i x_i}$ $\Sigma_{i=1}^n{w_i^2 Var(x_i)}$ $\Sigma_{i=1}^n{w_i^2 Var(x_i)}$ $\Sigma_{i=1}^n{w_i} = 1$ $w_i \ge 0$

Die Karush-Kuhn-Tucker-Bedingungen, die für ein globales Minimum für dieses Problem notwendig und ausreichend sind, da es sich um ein konvexes quadratisches Programmierproblem handelt, führen zu einer Lösung in geschlossener Form, nämlich:

Das optimale für 1 = 1 .. n. $w_i = [1/Var(x_i)]/\Sigma_{j=1}^n{[1/Var(x_j)]}$

Die Varianz des entsprechenden optimal gewichteten Mittelwerts = . $1/\Sigma_{i=1}^n{[1/Var(x_i)]}$

Im Gegensatz dazu bedeutet gleiche Gewichtung für alle i, wobei n die Anzahl der Datenpunkte ist. Wie von whuber hervorgehoben, sind gleiche Gewichte optimal, wenn alle Datenpunktvarianzen gleich sind, was aus der obigen Formel für ein optimales . Wie aus dieser Formel hervorgeht, sind gleiche Gewichte nicht optimal, wenn die Datenpunktvarianzen nicht alle gleich sind, und führen tatsächlich zu einer größeren Varianz (des gewichteten Mittelwerts) als die optimalen Gewichte. Die Varianz des gleichgewichteten Mittelwerts, dh die Varianz des gewichteten Mittelwerts unter Verwendung gleicher Gewichte = . $w_i = \frac{1}{n}$ $w_i$ $\frac{1}{n^2}\Sigma_{i=1}^n{Var(x_i)}$

Hier sind einige numerische Beispielergebnisse:

Es gibt zwei Datenpunkte mit Varianzen von 1 bzw. 4. Der ungewichtete Mittelwert hat eine Varianz von 1,25. Der gewichtete Mittelwert unter Verwendung der optimalen Gewichte von 0,8 bzw. 0,2 hat eine Varianz = 0,8, was natürlich weniger als 1,25 ist.
Es gibt drei Datenpunkte mit Varianzen von 1, 4 und 9. Der ungewichtete Mittelwert hat eine Varianz von 1,5556. Der gewichtete Mittelwert unter Verwendung der optimalen Gewichte von 0,7347, 0,1837 bzw. 0,0816 hat eine Varianz = 0,7347, was natürlich weniger als 1,5556 beträgt.

Natürlich ist es möglich, dass das gewichtete Mittel eine größere Varianz aufweist als das ungewichtete Mittel, wenn die Gewichte schlecht gewählt werden. Durch Auswahl der Gewichtung 1 für den Datenpunkt mit der größten Varianz und 0 für alle anderen Datenpunkte hätte der gewichtete Mittelwert die Varianz = die größte Varianz eines Datenpunkts. Dieses extreme Beispiel wäre das Ergebnis einer Maximierung statt einer Minimierung des von mir dargelegten Optimierungsproblems.

— Mark L. Stone
quelle

Ich bin verwirrt über Ihren Verweis auf einzelne Datenpunkte mit Varianz (z. B. gibt es zwei Datenpunkte mit Varianzen von 1 bzw. 4). Können Sie dies bitte erklären?

— Edstatsuser

Die Aussage, dass der Datenpunkt eine bestimmte Varianz aufweist, ist eine Abkürzung dafür, dass aus einer Population (Zufallsvariable) gezogen wird, die diese Varianz aufweist. Die verschiedenen Datenpunkte können also aus verschiedenen Populationen gezogen werden, da nicht davon ausgegangen wird, dass es sich um eine Stichprobenentnahme handelt.

x_{i}

$x_i$

x_{i}

$x_i$

— Mark L. Stone

Hier ist ein einfaches Beispiel unter Verwendung von und Formen der Varianz: $\frac1n\sum_i\left(x_i-\frac1n\sum_j x_j\right)^2$ $\frac1{\sum_k w_k}\sum_i w_i\left(x_i-\frac1{\sum_k w_k}\sum_j w_j x_j\right)^2$

Angenommen, Ihre Bevölkerung hat Messungen . $20,30,40,50$

Ungewichtet beträgt der Mittelwert und die Varianz $35$ $125$
Bei den jeweiligen Gewichten , 2000 beträgt der gewichtete Mittelwert und die gewichtete Varianz $1000,4000,3000,2000$ $36$ $84$
Bei den jeweiligen Gewichten der gewichtete Mittelwert und die gewichtete Varianz $3000,2000,1000,4000$ $36$ $164$

Dieses Beispiel steht im Einklang mit meinem Kommentar, dass das Zitat Ihres Statistikers wahrscheinlich für eine Population mit einer unimodalen Verteilung gilt, obwohl es im Allgemeinen nicht zutreffen muss.

Ich nehme an, der Punkt ist, dass Sie, wenn Sie den gewichteten Mittelwert angeben, ihn wahrscheinlich mit der gewichteten Varianz assoziieren sollten. Wenn Ihr Mittelwert tatsächlich das Ergebnis der Stichprobe ist, ist der Standardfehler des gewichteten Stichprobenmittelwerts eine kompliziertere Berechnung.

— Henry
quelle

Diese Antwort scheint die Varianz einer Stichprobe (oder endlichen Population) mit der Varianz der Stichprobenverteilung des Mittelwerts (oder des gewichteten Mittelwerts) zu verwechseln . Folglich enthält es Aussagen, die nicht wahr zu sein scheinen und irreführend sein können.

— whuber