Welche Ausreißererkennung kann diese Ausreißer erkennen?

Ich habe einen Vektor und möchte darin Ausreißer erkennen.

Die folgende Abbildung zeigt die Verteilung des Vektors. Rote Punkte sind Ausreißer. Blaue Punkte sind normale Punkte. Gelbe Punkte sind ebenfalls normal.

Ich benötige eine Ausreißererkennungsmethode (eine nicht parametrische Methode), mit der nur rote Punkte als Ausreißer erkannt werden können. Ich habe einige Methoden wie IQR und Standardabweichung getestet, aber sie erkennen auch gelbe Punkte als Ausreißer.

Ich weiß, dass es schwierig ist, nur den roten Punkt zu erkennen, aber ich denke, es sollte einen Weg (sogar eine Kombination von Methoden) geben, um dieses Problem zu lösen.

Punkte sind Messwerte eines Sensors für einen Tag. Die Werte des Sensors ändern sich jedoch aufgrund der Neukonfiguration des Systems (die Umgebung ist nicht statisch). Die Zeiten der Neukonfigurationen sind unbekannt. Blaue Punkte gelten für den Zeitraum vor der Neukonfiguration. Gelbe Punkte stehen für nach der Neukonfiguration, was zu Abweichungen in der Verteilung der Messwerte führt (sind jedoch normal). Rote Punkte sind das Ergebnis einer illegalen Änderung der gelben Punkte. Mit anderen Worten, es handelt sich um Anomalien, die erkannt werden sollten.

Ich frage mich, ob die Schätzung der Kernel-Glättungsfunktion ('pdf', 'Survivor', 'cdf' usw.) Abhilfe schaffen könnte oder nicht. Würde jemand über die Hauptfunktionalität (oder andere Glättungsmethoden) und die Rechtfertigung für die Verwendung in einem Kontext zur Lösung eines Problems helfen?

Sie können Ihre Daten als Zeitreihen betrachten, in denen eine normale Messung einen Wert ergibt, der dem vorherigen Wert sehr nahe kommt, und eine Neukalibrierung einen Wert ergibt, der sich stark vom Vorgänger unterscheidet.

Hier sind simulierte Beispieldaten basierend auf der Normalverteilung mit drei verschiedenen Mitteln ähnlich Ihrem Beispiel.

Durch Berechnung der Differenz zum vorherigen Wert (eine Art Ableitung) erhalten Sie folgende Daten:

Meine Interpretation Ihrer Beschreibung ist, dass Sie eine Neukalibrierung tolerieren (dh Punkte in größerem Abstand von Null, rot im Diagramm), aber sie müssen zwischen positiven und negativen Werten wechseln (dh entsprechend der Verschiebung vom blauen zum gelben Zustand und zurück).

Dies bedeutet, dass Sie einen Alarm einrichten können, bei dem ein zweiter roter Punkt entweder auf der negativen oder der positiven Seite angezeigt wird .

Wenn Sie die Protokollierung verwenden, können Sie einen laufenden Durchschnitt verwenden, der zurückgesetzt wird, wenn sich die Konfiguration ändert. Dies hat jedoch die Schwäche, dass Sie mindestens einige Daten benötigen, bevor Sie einen solchen Ausreißer erkennen können.

Ihre Daten sehen eher "nett" aus (nicht zu viel Rauschen). Ich würde empfehlen, den Durchschnitt der letzten 10 bis 20 Punkte in derselben Konfiguration zu ermitteln. Wenn es sich bei diesen Werten um eine gezählte Größe handelt, können Sie einen Poisson-Fehler für einzelne Datenpunkte nehmen und den Fehler im Durchschnitt berechnen.

Wie viele historische Daten haben Sie? Wenn Sie viel haben, können Sie damit Ihre Alarmrate so einstellen, dass Sie ein akzeptables Verhältnis aller echten Ausreißer erhalten und gleichzeitig eine minimale Anzahl gefälschter Warnungen erhalten. Was akzeptabel ist, hängt vom spezifischen Problem ab. (Kosten für falsch positive oder nicht erkannte Ausreißer und deren Häufigkeit).

Veranschaulichen wir den in der anderen Antwort vorgeschlagenen Ansatz anhand eines einfachen Beispiels

Daten empfangen

Wir werden diese Daten mit sieben Blöcken simulieren, die mit normaler Verteilung mit unterschiedlichen Mitteln erzeugt wurden.

Dies ist wichtig, da wir so sauber zwischen den Gruppen unterscheiden und die Bruchstellen einfach erkennen können. Bei dieser Antwort wird ein elementarer Schwellenwertansatz verwendet. Für Ihre realen Daten ist möglicherweise ein fortgeschrittener Weg erforderlich.

dt <- rbind(
data.frame(color=1, x =  round(runif(50, min = 0, max = 50)), y = rnorm (50,mean=3.9, sd=.03)), 
data.frame(color=2, x =  round(runif(15, min = 50, max = 65)), y = rnorm (15,mean=4.5, sd=.03)),
data.frame(color=2, x =  round(runif(15, min = 65, max = 80)), y = rnorm (15,mean=3.3, sd=.03)),
data.frame(color=1, x =  round(runif(70, min = 80, max = 150)), y = rnorm (70,mean=3.9, sd=.03)), 
data.frame(color=2, x =  round(runif(15, min = 150, max = 165)), y = rnorm (15,mean=3.3, sd=.03)), 
data.frame(color=3, x =  round(runif(15, min = 165, max = 180)), y = rnorm (15,mean=2.9, sd=.03)), 
data.frame(color=1, x =  round(runif(120, min = 180, max = 300)), y = rnorm (120,mean=3.9, sd=.03))
)
dt$color <- as.factor(dt$color)
dt <- as_tibble(dt)

Leiten Sie die Bruchstellen ab

Mit einem einfachen Unterschied zum vorhergehenden Punkt erhalten lag(y) wir die Ausreißer. Sie werden anhand eines Schwellenwerts klassifiziert.

Änderung der Verhaltensklassifizierung

Basierend auf den von Ihnen beschriebenen Regeln werden die Bruchstellen als OKund klassifiziert problem.

Die Regel besagt, dass keine zwei Änderungen in derselben Richtung zulässig sind. Der zweite Schritt in die vorherige Richtung wird als Problem angesehen.

Möglicherweise müssen Sie diese einfache Interpretation anpassen, wenn Ihre Logik fortgeschrittener ist.

## extract outliers and get previous value
dt2 <- filter(dt2, diff != 0) %>%
   mutate(cs = cumsum(diff),
          prev = lag(diff),
          cls = case_when(
                      diff * prev >  0 ~ "problem",
                      TRUE ~ "OK"))
## show 
dt2 %>% select(x,y,diff,prev,cls)                       
## # A tibble: 6 x 5
##       x     y  diff  prev cls    
##   <dbl> <dbl> <dbl> <dbl> <chr>  
## 1    50  4.53     1    NA OK     
## 2    66  3.32    -1     1 OK     
## 3    80  3.87     1    -1 OK     
## 4   151  3.32    -1     1 OK     
## 5   167  2.91    -1    -1 problem
## 6   180  3.87     1    -1 OK

Präsentation

Schließlich projizieren Sie die erkannten Ausreißer auf die Originaldaten

## project in the original data
ggplot(data=dt, mapping = aes(x=x, y=y) )  +
  geom_point(mapping = aes(color = color) )  +
  scale_color_manual(values=c("blue", "yellow", "red","green","red")) +
  theme(legend.position="none") +
  geom_vline(data=dt2, aes(xintercept=x, color=cls),
             linetype="dashed", size = 2)