Vorspannungskorrektur in der gewichteten Varianz

Für die ungewichtete Varianz existiert die vorspannungskorrigierte Stichprobenvarianz, wenn der Mittelwert aus denselben Daten geschätzt wurde:

Var (X) : = \frac{1}{n} \sum_{ich} (x_{ich} - μ)^{2}

$\text{Var}(X):=\frac{1}{n}\sum_i(x_i - \mu)^2$

Var (X) : = \frac{1}{n - 1} \sum_{ich} (x_{ich} - E [X])^{2}

$\text{Var}(X):=\frac{1}{n-1}\sum_i(x_i - E[X])^2$

Ich beschäftige mich mit dem gewichteten Mittelwert und der Varianz und frage mich, was die geeignete Korrektur für die gewichtete Varianz ist. Verwenden Sie:

bedeuten (X) : = \frac{1}{\sum_{ich} ω_{ich}} \sum_{ich} ω_{ich} x_{ich}

$\text{mean}(X):=\frac{1}{\sum_i \omega_i}\sum_i \omega_i x_i$

Die "naive", nicht korrigierte Varianz, die ich verwende, ist folgende:

Var (X) : = \frac{1}{\sum_{ich} ω_{ich}} \sum_{ich} ω_{ich} (x_{ich} - bedeuten (X))^{2}

$\text{Var}(X):=\frac{1}{\sum_i \omega_i}\sum_i\omega_i(x_i - \text{mean}(X))^2$

Ich frage mich also, ob die richtige Art der Korrektur von Voreingenommenheit ist

Var (X) : = \frac{1}{\sum_{ich} ω_{ich} - 1} \sum_{ich} ω_{ich} (x_{ich} - bedeuten (X))^{2}

$\text{Var}(X):=\frac{1}{\sum_i \omega_i - 1}\sum_i\omega_i(x_i - \text{mean}(X))^2$

oder B)

Var (X) : = \frac{n}{n - 1} \frac{1}{\sum_{ich} ω_{ich}} \sum_{ich} ω_{ich} (x_{ich} - bedeuten (X))^{2}

$\text{Var}(X):=\frac{n}{n-1}\frac{1}{\sum_i \omega_i}\sum_i\omega_i(x_i - \text{mean}(X))^2$

oder C)

Var (X) : = \frac{\sum_{ich} ω_{ich}}{(\sum_{ich} ω_{ich})^{2} - \sum_{ich} ω_{ich}^{2}} \sum_{ich} ω_{ich} (x_{ich} - bedeuten (X))^{2}

$\text{Var}(X):=\frac{\sum_i \omega_i}{(\sum_i \omega_i)^2-\sum_i \omega_i^ 2}\sum_i\omega_i(x_i - \text{mean}(X))^2$

A) ergibt für mich keinen Sinn, wenn die Gewichte klein sind. Der Normalisierungswert kann 0 oder sogar negativ sein. Aber wie steht es mit B) ( ist die Anzahl der Beobachtungen) - ist dies der richtige Ansatz? Haben Sie eine Referenz, die dies zeigt? Ich glaube, "Mittelwert- und Varianzschätzungen aktualisieren: eine verbesserte Methode", DHD West, 1979 verwendet dies. Das dritte, C), ist meine Interpretation der Antwort auf diese Frage: /mathpro/22203/unbias-estimate-of-varianz-of-unnormalised-weighted-mean $n$

Für C) habe ich gerade festgestellt, dass der Nenner sehr nach aussieht . Gibt es hier einen allgemeinen Zusammenhang? Ich denke, es stimmt nicht ganz überein; und offensichtlich gibt es die Verbindung, die wir versuchen, die Varianz zu berechnen ... $\text{Var}(\Omega)$

Alle drei scheinen die der Einstellung all zu " . Welches sollte ich also in welchen Räumlichkeiten verwenden? '' Update: '' whuber schlug vor, die Überprüfung der mit und allen verbleibenden tiny . Dies scheint A und B auszuschließen. $\omega_i=1$ $\omega_1=\omega_2=.5$ $\omega_i=\epsilon$

— Anony-Mousse
quelle

Wenn Sie Fälle betrachten, in denen die beiden größten Gewichte gleich sind und der Rest verschwindend klein wird, fallen sowohl (A) als auch (B) aus dem Wettbewerb (weil sie nicht mit den bekannten Ergebnissen für ). (C) scheint eine Annäherung zu sein; Ich vermute, der richtige Faktor ist eine viel kompliziertere Funktion der Gewichte.

n = 2

$n=2$

— Whuber

@whuber ThePawn unten deutet darauf hin, dass es C ist. Haben Sie detailliertere Bedenken?

— Anony-Mousse

Lösung (A) funktioniert, ich habe sie in der Vergangenheit implementiert und kann anhand von empirischen Tests bestätigen, dass sie die richtigen Ergebnisse liefert. Sie müssen jedoch nur ganzzahlige Werte für die Gewichte verwenden und> 0

— gaborous

Vielen Dank! Dies hat mir sehr geholfen, auf die richtige Spur zu kommen, wenn die Gewichte für einen exponentiellen gleitenden Durchschnitt stehen! Es stellt sich heraus, dass die naive Methode, die Varianz zu berechnen, sie tatsächlich um einen konstanten Faktor von 2 überschätzt, zusätzlich zu der kleinen (1-1 / n) Korrektur, die sich analog zur einfachen Berechnung des gleitenden Durchschnitts ergibt. Das ist ein besonders verrückter Sonderfall!

— Saolof

Antworten:

Ich ging die Mathematik durch und endete mit Variante C:

V ein r (X) = \frac{(\sum_{ich} ω_{ich})^{2}}{(\sum_{ich} ω_{ich})^{2} - \sum_{ich} ω_{ich}^{2}} \bar{V}

$Var(X) = \frac{(\sum_i \omega_i)^2}{(\sum_i \omega_i)^2 - \sum_i \omega_i^2}\overline V$ wobei die nicht korrigierte Varianzschätzung ist. Die Formel stimmt mit dem ungewichteten Fall überein, wenn alle identisch sind. Ich führe den Beweis unten auf:

\bar{V}

$\overline V$

ω_{i}

$\omega_i$

Wenn Sie , haben wir $\lambda_i = \frac{\omega_i}{\sum_i \omega_i}$

\bar{V} = \sum_{ich} λ_{ich} (x_{ich} - \sum_{j} λ_{j} x_{j})^{2}

$\overline V = \sum_i \lambda_i (x_i - \sum_j \lambda_j x_j)^2$

Das Erweitern des inneren Terms ergibt:

(x_{ich} - \sum_{j} λ_{j} x_{j})^{2} = x_{ich}^{2} + \sum_{j, k} λ_{j} λ_{k} x_{j} x_{k} - 2 \sum_{j} λ_{j} x_{ich} x_{j}

$(x_i - \sum_j \lambda_j x_j)^2 = x_i^2 + \sum_{j, k} \lambda_j \lambda_k x_j x_k - 2 \sum_j \lambda_j x_i x_j$

Wenn wir die Erwartung annehmen, haben wir, dass , wobei der Term in jedem Term vorhanden ist, er sich aufhebt und wir erhalten: $E[x_i x_j] = Var(X)1_{i = j} + E[X]^2$ $E[X]$

E [\bar{V}] = V ein r (X) \sum_{ich} λ_{ich} (1 + \sum_{j} λ_{j}^{2} - 2 λ_{ich})

$E[\overline V] = Var(X) \sum_i \lambda_i (1 + \sum_j \lambda_j^2- 2 \lambda_i )$ das heißt Es muss noch der Ausdruck in Bezug auf , um die Variante C zu erhalten.

E [\bar{V}] = V ein r (X) (1 - \sum_{j} λ_{j}^{2})

$E[\overline V] = Var(X) (1 - \sum_j \lambda_j^2)$

λ_{i}

$\lambda_i$

ω_{i}

$\omega_i$

— Der Bauer
quelle

Das ist doch Variante C, oder?

— Anony-Mousse

Oups, ja, es ist Variante C.

— ThePawn

Ich habe diese Lösung empirisch überprüft und sie funktioniert NICHT ... Die einzige, die dies tut, ist die Lösung (A), die ich in der Vergangenheit auch selbst implementiert habe, aber sie funktioniert nur mit Gewichten, die ganzzahlig und> = 0 sind

— mühsam

Diese Gleichung ist laut Wikipedia, Matlab, R und anderen, die diese Gleichung implementieren, falsch. Der Zähler hier ist quadriert, sollte aber NICHT so sein wie der vom OP vorgeschlagene (C). Siehe en.wikipedia.org/wiki/…

— Gaborous

@rajatkhanduja Ich sprach nicht über den Beweis, sondern die endgültige abgeleitete Gleichung (die oberste in dieser Antwort). Aber in der Tat ist es richtig, der Zähler ist nur quadriert, weil wir mit V multiplizieren, so dass der Zähler nicht quadriert wird. Wie ich in meiner Antwort unten erläutere, bleibt dieser Schätzer voreingenommen, da er auf Gewichten vom Typ "Zuverlässigkeit" beruht.

— Gaborous

Sowohl A als auch C sind richtig, aber welches Sie verwenden, hängt davon ab, welche Art von Gewichten Sie verwenden:

A muss Gewichtungen vom Typ "Wiederholung" verwenden (ganze Zahlen, die die Anzahl der Vorkommen für jede Beobachtung zählen) und ist unvoreingenommen .
C erfordert die Verwendung von Gewichten vom Typ "Zuverlässigkeit" (entweder normalisierte Gewichte oder Varianzen für jede Beobachtung) und ist voreingenommen . Es kann nicht unvoreingenommen sein.

Der Grund, warum C notwendigerweise voreingenommen ist, liegt darin, dass Sie, wenn Sie keine Gewichte vom Typ "Wiederholung" verwenden, die Möglichkeit verlieren, die Gesamtzahl der Beobachtungen (Stichprobengröße) zu zählen, und daher keinen Korrekturfaktor verwenden können.

Weitere Informationen finden Sie in dem kürzlich aktualisierten Wikipedia-Artikel: http://en.wikipedia.org/wiki/Weighted_arithmetic_mean#Weighted_sample_variance

— mühsam
quelle