Online-Varianzschätzung mit begrenztem Speicher

Ich erstelle eine Komponente, die darauf abzielt, den Durchschnitt und die Varianz einer Metrik zu berechnen, die mit Ereignissen verbunden ist, die während der Zeit auftreten, aber mit einem begrenzten internen Speicher.

Stellen Sie sich vor, die Ereignisse sind Besucher, die einen Laden betreten, und die Metrik entspricht ihrem Alter.

Im Laufe der Zeit erhält meine Komponente Ereignisse mit dem Alter jedes Besuchers. Ich möchte nicht, dass meine Komponente die Geschichte jedes Zeitalters auswendig lernt. Idealerweise möchte ich nur eine leichte Komponente speichern: den Durchschnitt A, die Varianz V und die Anzahl der Ereignisse N.

Nach jedem Ereignis mit dem Alter Emöchte ich diese drei Werte aktualisieren:

N<=N+1
A<=(A*N+E)/(N+1)
V<=???

Wofür V? Ich denke an etwas wie:

V<=(V*N+(E-A)^2)/(N+1)

Ich weiß, dass es nicht genau ist, da mein Vorgänger Vdas Alte verwendet, Awas nicht mehr der Durchschnitt ist.

Q1 - Gibt es eine genaue Formel?
F2 - Wenn nicht, ist mein Vorschlag eine gute Schätzung? Ist es voreingenommen? Konvergiert es korrekt, wenn es Nzunimmt?
Q3 - Gibt es eine bessere Formel?

variance online

— Arnaud Mégret
quelle

Die numerische Genauigkeit könnte ebenfalls ein Problem sein. Siehe auch Online-Algorithmus zur Berechnung der Varianz mit einem Zerfall .

— Scortchi - Monica wieder einsetzen

Können Sie auch die Summe von E ^ 2 behalten?

— Andy W

Ja, es wäre in Ordnung. Ich kann eine endliche Anzahl von Werten behalten, aber nicht abhängig von N.

— Arnaud Mégret

Verwenden Sie einen numerisch stabilen Algorithmus zur Aktualisierung der Varianz in einem Durchgang, wie beispielsweise in Abschnitt 1 von cs.yale.edu/publications/techreports/tr222.pdf beschrieben . Die Antwort von Andy W. ist eine schreckliche Methode, die sehr ungenau sein kann.

— Mark L. Stone

Antworten:

Ein guter und einfacher Algorithmus zur Online-Berechnung der Varianz wurde von Welford (1962) beschrieben. Unten sehen Sie die C ++ / Rcpp-Implementierung, die offline funktioniert, aber leicht an das Online-Szenario angepasst werden kann:

List welford_cpp(NumericVector x) {

  int n = x.length();
  double delta;
  double msq = 0;
  double mean = x[0];

  if (n > 1) {
    for (int i = 1; i < n; i++) { 
      delta = x[i] - mean;
      mean += delta / (i+1);
      msq += delta * (x[i] - mean);
    }
    return Rcpp::List::create(Rcpp::Named("mean") = mean,
                              Rcpp::Named("variance") = msq / (n-1));
  }

  return Rcpp::List::create(Rcpp::Named("mean") = mean,
                            Rcpp::Named("variance") = NAN);
}

Wie Sie sehen können, braucht es nur vier Variablen speichern: n, delta, msqund meanund berechnet Mittelwert und die Varianz gleichzeitig , wie man wollte.

Welford, BP (1962). Hinweis zu einer Methode zur Berechnung korrigierter Summen von Quadraten und Produkten . Technometrics 4 (3): 419 & ndash; 420.

— Tim
quelle

Sehr schön, danke (auch an Mark Stone für den Hinweis). Löscht meine Antwort.

— Andy W

Die Varianz kann als proportional zur quadratischen Differenz zwischen jedem Wert und dem Mittelwert ausgedrückt werden oder (wie viele Threads hier in stats.SE dokumentiert sind, wie diese Antwort, die ich auf eine andere Frage geschrieben habe) alternativ als proportional zum Quadrat ausgedrückt werden paarweiser Unterschied zwischen jeder Probe.

Wir wissen also:

Var (x) = \frac{1}{n} \cdot \sum_{i} (X_{i} - \bar{X})^{2} = \frac{1}{2 n^{2}} \cdot \sum_{i, j} (X_{i} - X_{j})^{2}

$\text {Var}(x) = \frac{1}{n} \cdot \sum_{i}(X_i-\overline{X})^2 = \frac{1}{2n^2} \cdot \sum_{i,j}(X_i-X_j)^2$

Angenommen, Sie fügen ein weiteres Beispiel hinzu, das als letzter Index indiziert ist, . Ihre vorherige Abweichung wäre: $k$

{Var}_{o l d} (x) = \frac{1}{2 (n - 1)^{2}} \cdot \sum_{i < k, j < k} (X_{i} - X_{j})^{2}

$\text {Var}_{old}(x) = \frac{1}{2(n-1)^2} \cdot \sum_{i<k,j<k}(X_i-X_j)^2$

Ihre neue Varianz ist

{Var}_{n e w} (x) = \frac{1}{2 n^{2}} \cdot \sum_{i, j} (X_{i} - X_{j})^{2} = \frac{1}{2 n^{2}} \cdot (\sum_{i < k, j < k} (X_{i} - X_{j})^{2} + \sum_{j < k} (X_{k} - X_{j})^{2} + \sum_{i < k} (X_{i} - X_{k})^{2})

$\text {Var}_{new}(x) = \frac{1}{2n^2} \cdot \sum_{i,j}(X_i-X_j)^2 = \frac{1}{2n^2} \cdot \left( \sum_{i<k,j<k}(X_i-X_j)^2 + \sum_{j<k}(X_k-X_j)^2 + \sum_{i<k}(X_i-X_k)^2 \right)$

Aber

\sum_{j < k} (X_{k} - X_{j})^{2} = \sum_{i < k} (X_{i} - X_{k})^{2} \sum_{i < k, j < k} (X_{i} - X_{j})^{2} = 2 (n - 1)^{2} \cdot {Var}_{o l d} (x)

$\sum_{j<k}(X_k-X_j)^2 = \sum_{i<k}(X_i-X_k)^2\\ \sum_{i<k,j<k}(X_i-X_j)^2 = {2(n-1)^2} \cdot \text {Var}_{old}(x)$

Damit

{Var}_{n e w} (x) = {(\frac{n - 1}{n})}^{2} {Var}_{o l d} (x) + \frac{1}{n^{2}} \sum_{j < k} (X_{k} - X_{j})^{2}

$\text {Var}_{new}(x) = \left(\frac{n-1}{n}\right)^2 \text{Var}_{old}(x)+ \frac{1}{n^2} \sum_{j<k}(X_k-X_j)^2$

Wie @ MarkL.Stone in den Kommentaren sagte, ist dies immer noch nicht effizient, da wir jedes behalten müssen . Erweitern wir also die Formel, um zu etwas Traktablerem zu gelangen. $X_i$

\frac{1}{n^{2}} \sum_{j < k} (X_{k} - X_{j})^{2} = \frac{1}{n^{2}} \sum_{j < k} (X_{k}^{2} - 2 \cdot X_{j} \cdot X_{k} + X_{j}^{2}) = \frac{1}{n^{2}} (\sum_{j < k} X_{k}^{2} - 2 \cdot X_{k} \cdot \sum_{j < k} X_{j} + \sum_{j < k} X_{j}^{2}) = \frac{1}{n^{2}} (k \cdot X_{k}^{2} - 2 \cdot X_{k} \cdot (k - 1) \cdot \bar{X_{o l d}} + (k - 1) \cdot \bar{X_{o l d}^{2}})

$\frac{1}{n^2}\sum_{j<k}(X_k-X_j)^2=\\ \frac{1}{n^2}\sum_{j<k}(X_k^2 - 2 \cdot X_j \cdot X_k + X_j^2)=\\ \frac{1}{n^2}\left(\sum_{j<k}X_k^2 - 2 \cdot X_k \cdot \sum_{j<k} X_j + \sum_{j<k} X_j^2\right)=\\ \frac{1}{n^2}\left(k\cdot X_k^2 - 2 \cdot X_k \cdot (k-1) \cdot \overline{X_{old}} + (k-1) \cdot \overline{X^2_{old}}\right)\\$ Weil

\sum_{j < k} X_{j} = (k - 1) \cdot \bar{X_{o l d}} \sum_{j < k} X_{j}^{2} = (k - 1) \cdot \bar{X_{o l d}^{2}}

$\sum_{j<k} X_j = (k-1) \cdot \overline{X_{old}}\\ \sum_{j<k} X_j^2 = (k-1) \cdot \overline{X^2_{old}}$

Die endgültige Form ist dann

{Var}_{n e w} (x) = {(\frac{n - 1}{n})}^{2} {Var}_{o l d} (x) + \frac{1}{n^{2}} (k \cdot X_{k}^{2} - 2 \cdot X_{k} \cdot (k - 1) \cdot \bar{X_{o l d}} + (k - 1) \cdot \bar{X_{o l d}^{2}})

$\text {Var}_{new}(x) = \left(\frac{n-1}{n}\right)^2 \text{Var}_{old}(x)+ \frac{1}{n^2}\left(k\cdot X_k^2 - 2 \cdot X_k \cdot (k-1) \cdot \overline{X_{old}} + (k-1) \cdot \overline{X^2_{old}}\right)$

Sie können diese Formel verwenden, um die Varianz in Bezug auf den Speicher effektiv zu aktualisieren. Sie können es auch ergänzen, um Stapel anstelle von Einzelpunktaktualisierungen zu verwenden.

Grundsätzlich müssen Sie den Durchschnitt, den Durchschnitt der quadratischen Stichproben und die Varianz bei jeder Iteration speichern und zum Aktualisieren der Varianzformel verwenden.

Des Weiteren

\bar{X_{o l d}^{2}} = {Var}_{o l d} (x) + (\bar{X_{o l d}})^{2} ∴ {Var}_{n e w} (x) = {(\frac{n - 1}{n})}^{2} {Var}_{o l d} (x) + \frac{1}{n^{2}} (k \cdot X_{k}^{2} - 2 \cdot X_{k} \cdot (k - 1) \cdot \bar{X_{o l d}} + (k - 1) \cdot ({Var}_{o l d} (x) + (\bar{X_{o l d}})^{2}))

$\overline{X^2_{old}} = \text{Var}_{old}(x) + (\overline{X_{old}})^2\\ \therefore\text {Var}_{new}(x) = \left(\frac{n-1}{n}\right)^2 \text{Var}_{old}(x)+ \frac{1}{n^2}\left(k\cdot X_k^2 - 2 \cdot X_k \cdot (k-1) \cdot \overline{X_{old}} + (k-1) \cdot \left(\text{Var}_{old}(x) + (\overline{X_{old}})^2\right)\right)$

Dies reduziert die Anzahl der Mengen, die gelagert werden müssen, auf 2.

— Firebug
quelle

Erfordert diese Methode nicht die Verfügbarkeit aller vorherigen Datenpunkte, um das Update zu berechnen? Wenn ja, widerspricht dies der Idee, mit begrenztem Gedächtnis umzugehen. Beachten Sie, dass Online-Aktualisierungsalgorithmen nach dem Vorbild von Welford in der Antwort von @Tim, einer bestimmten Instanz einer Klasse ähnlicher Algorithmen, die in cs.yale.edu/publications/techreports/tr222.pdf beschrieben werden, kein Speichern von alten Algorithmen erfordern Datenpunkte, aber nur 2 Register (skalare Variablen), um alte Informationen beizubehalten.

— Mark L. Stone

@ MarkL.Stone Hmm ich verstehe. Ja, dies erfordert alle vorherigen Werte , Sie haben Recht.

X_{i}

$X_i$

— Firebug

@ MarkL.Stone Ich habe die Formel aktualisiert, sodass drei Skalare gespeichert werden müssen. Ich kann bereits sehen, dass es weiter reduziert werden kann, vielleicht gleichwertig mit der anderen Lösung.

— Firebug

Aufgrund der Subtraktion ist Ihr überarbeiteter Algorithmus nicht nur nicht negative Größen addierend, sondern auch numerisch weniger genau (robust) als der Welford-Algorithmus und ähnliche Algorithmen. Ich sehe darin überhaupt keinen Verdienst.

— Mark L. Stone

OK Andy W gab die Antwort. Indem Sie den Durchschnitt auf die gleiche Weise wie den E-Durchschnitt , können Sie . $E^2$ $V = exp(E^2)-exp(E)^2$

— Arnaud Mégret
quelle

Mit meinen Sie vielleicht den erwarteten Wert von ? (Und nicht die Exponentialfunktion.)

e x p (E^{2})

$exp(E^2)$

E^{2}

$E^2$

— Andy W

Diese Methode ist in Ordnung, es sei denn, Sie möchten die richtige Antwort erhalten.

— Mark L. Stone

Numerische Instabilität und damit numerische Ungenauigkeit. Es ist richtig, wenn es in exakter Arithmetik ausgeführt wird, dh mit unendlicher Genauigkeit. In endlicher Präzision auf einem Computer kann es sehr ungenau sein und sogar negativ ausfallen (und hat es tatsächlich bei vielen Gelegenheiten).

— Mark L. Stone

Excel hat diese Methode tatsächlich lange Zeit verwendet (zu viel Kritik und Spott von Statistikern und anderen). Unter ganz einfachen Umständen (Daten mit großem Mittelwert, kleiner Standardabweichung) können Sie die Varianzfunktion so einstellen, dass sie eine Ausgabe liefert, die einer Annäherung eines Zufallszahlengenerators entspricht (verschieben Sie die Daten um aufeinanderfolgende kleine Beträge, und die gemeldete Varianz springt dramatisch herum). Dies wurde durch eine katastrophale Aufhebung der Differenz verursacht. Dies war ein sehr effektiver Weg, um zu demonstrieren, warum diese Probleme wichtig sind. Excel macht das nicht mehr.

— Glen_b -State Monica

Zu dieser katastrophalen Absage siehe zum Beispiel die Diskussion hier

— Glen_b -Reinstate Monica