Robuste mittlere Schätzung mit O (1) -Updateeffizienz

Ich suche eine robuste Schätzung des Mittelwerts, der eine bestimmte Eigenschaft hat. Ich habe eine Reihe von Elementen, für die ich diese Statistik berechnen möchte. Dann füge ich nacheinander neue Elemente hinzu und möchte für jedes weitere Element die Statistik neu berechnen (auch als Online-Algorithmus bezeichnet). Ich möchte, dass diese Aktualisierungsberechnung schnell ist, vorzugsweise O (1), dh nicht abhängig von der Größe der Liste.

Das übliche Mittel hat die Eigenschaft, dass es effizient aktualisiert werden kann, aber für Ausreißer nicht robust ist. Typische robuste Schätzer des Mittelwerts wie der Interquartilmittelwert und der getrimmte Mittelwert können nicht effizient aktualisiert werden (da eine sortierte Liste erforderlich ist).

Ich würde mich über Vorschläge für robuste Statistiken freuen, die effizient berechnet / aktualisiert werden können.

Diese Lösung implementiert einen Vorschlag von @Innuo in einem Kommentar zur Frage:

Sie können aus allen bisher angezeigten Daten eine gleichmäßig abgetastete zufällige Teilmenge der Größe 100 oder 1000 beibehalten. Dieser Satz und die zugehörigen "Zäune" ​​können in -Zeit aktualisiert werden.$O(1)$

Sobald wir wissen, wie diese Teilmenge beibehalten werden kann, können wir eine beliebige Methode auswählen , um den Mittelwert einer Population aus einer solchen Stichprobe zu schätzen. Dies ist eine universelle Methode, bei der keinerlei Annahmen getroffen werden und die mit jedem Eingabestream mit einer Genauigkeit funktioniert , die unter Verwendung statistischer Standardstichprobenformeln vorhergesagt werden kann. (Die Genauigkeit ist umgekehrt proportional zur Quadratwurzel der Stichprobengröße.)

$x(t),$ $t=1, 2, \ldots,$$m$$s(t)$$X(t) = (x(1),x(2), \ldots, x(t))$$1\le i \le t$$s(i)$$m$$X(t)$

$m$$\{1,2,\ldots,t\}$$x$$s(t)$$x(i),$ $1\le i\lt t,$$s(t)$$m/t$$t \ge m$

$m$

$t=m+1$$s(t)$$X(t)$$t\gt m$$s(t+1) = s(t)$$U(t+1)$$s(t)$$U(t+1) \le m/(t+1)$$s$$x(t+1)$

$x(t+1)$$m/(t+1)$$s(t+1)$$x(i)$$m/t$$s(t)$$i\le t$$m/(t+1) \times 1/m$$1/(t+1)$$s(t+1)$

$x(i)$$s(t)$

$O(1)$$m$$O(m)$

$s$$t$$X(t)$$s = X(m)$$t=m+1, m+2, \ldots.$R$(s,t)$$x$$(s,t+1)$n$t$sample.size$m$$t$

update <- function(s, x, n, sample.size) {
  if (length(s) < sample.size) {
    s <- c(s, x)
  } else if (runif(1) <= sample.size / n) {
    i <- sample.int(length(s), 1)
    s[i] <- x
  }
  return (s)
}

$s(t)$$X(t)$$m=50$

n <- 10^3
x <- sapply(1:(7*n), function(t) cos(pi*t/n) + 2*floor((1+t)/n))
n.sample <- 50
s <- x[1:(n.sample-1)]
online <- sapply(n.sample:length(x), function(i) {
  s <<- update(s, x[i], i, n.sample)
  summary(s)})
actual <- sapply(n.sample:length(x), function(i) summary(x[1:i]))

online$50$actualactual

plot(x, pch=".", col="Gray")
lines(1:dim(actual)[2], actual["Mean", ])
lines(1:dim(online)[2], online["Mean", ], col="Red")

Für zuverlässige Schätzer des Mittelwerts durchsuchen Sie bitte unsere Website nach Ausreißern und verwandten Begriffen. Zu den erwägenswerten Möglichkeiten zählen Winsorized-Mittel und M-Schätzer.

Sie könnten daran denken, Ihr Problem mit dem des rekursiven Kontrolldiagramms in Beziehung zu setzen. Ein solches Kontrolldiagramm bewertet, ob eine neue Beobachtung die Kontrolle hat. Wenn dies der Fall ist, wird diese Beobachtung in die neue Schätzung des Mittelwerts und der Varianz einbezogen (erforderlich zur Bestimmung der Kontrollgrenzen).

Einige Hintergrundinformationen zu robusten, rekursiven, univariaten Kontrolldiagrammen finden Sie hier . Einer der klassischen Texte zur Qualitätskontrolle und zu Kontrollkarten scheint hier online verfügbar zu sein .

$\mu_{t-1}$$\sigma^2_{t-1}$$t$$x_t$$\mu_{t-1}$$\sigma^2_{t-1})$Dies kann jedoch zu Problemen führen, wenn die Daten bestimmten Verteilungsannahmen nicht entsprechen. Wenn Sie diesen Weg gehen möchten, nehmen wir an, Sie haben festgestellt, ob ein neuer Punkt kein Ausreißer ist, und möchten ihn ohne besondere Vergessensrate in Ihre mittlere Schätzung aufnehmen. Dann können Sie es nicht besser machen als:

$\mu_t = \frac{t-1}{t}\mu_{t-1}+\frac{1}{t}x_t$

Ebenso müssen Sie die Varianz rekursiv aktualisieren:

$\sigma^2_t = \frac{t-1}{t}\sigma^2_{t-1}+\frac{1}{t-1}(x_t-\mu_t)^2$

$\mu$$\mu$$\sigma^2$

In Bezug auf ein Diagramm wie das EWMA, das alte Beobachtungen vergisst und neuen mehr Gewicht verleiht, müssen Sie ältere Beobachtungen nicht exponentiell vergessen, wenn Sie der Meinung sind, dass Ihre Daten stationär sind (dh die Parameter der Erzeugungsverteilung ändern sich nicht). Sie können den Vergessensfaktor entsprechend einstellen. Wenn Sie jedoch der Meinung sind, dass es sich um eine Nichtstationarität handelt, müssen Sie einen guten Wert für den Vergessensfaktor auswählen (eine Möglichkeit hierzu finden Sie im Lehrbuch).

$\mu_0$$\sigma^2_0$

Ich denke, ein Ansatz in dieser Richtung wird zur schnellsten Aktualisierung Ihres Problems führen.