Filter für vollständige Fälle in data.frame mit dplyr (fallweises Löschen)

Ist es möglich, einen data.frame mit dplyr nach vollständigen Fällen zu filtern? complete.casesmit einer Liste aller Variablen funktioniert natürlich. Dies ist jedoch a) ausführlich, wenn viele Variablen vorhanden sind, und b) unmöglich, wenn die Variablennamen nicht bekannt sind (z. B. in einer Funktion, die einen data.frame verarbeitet).

library(dplyr)
df = data.frame(
    x1 = c(1,2,3,NA),
    x2 = c(1,2,NA,5)
)

df %.%
  filter(complete.cases(x1,x2))

Versuche dies:

df %>% na.omit

oder dieses:

df %>% filter(complete.cases(.))

oder dieses:

library(tidyr)
df %>% drop_na

Wenn Sie basierend auf dem Fehlen einer Variablen filtern möchten, verwenden Sie eine Bedingung:

df %>% filter(!is.na(x1))

oder

df %>% drop_na(x1)

Andere Antworten weisen darauf hin, dass die oben genannten Lösungen na.omitviel langsamer sind, dies muss jedoch gegen die Tatsache abgewogen werden, dass Zeilenindizes der ausgelassenen Zeilen in der zurückgegeben werdenna.action Attribut zurückgegeben werden, während dies bei den anderen oben genannten Lösungen nicht der .

str(df %>% na.omit)
## 'data.frame':   2 obs. of  2 variables:
##  $ x1: num  1 2
##  $ x2: num  1 2
##  - attr(*, "na.action")= 'omit' Named int  3 4
##    ..- attr(*, "names")= chr  "3" "4"

HINZUGEFÜGT Aktualisiert, um die neueste Version von dplyr und Kommentare wiederzugeben.

HINZUGEFÜGT Aktualisiert, um die neueste Version von tidyr und Kommentare wiederzugeben.

Das funktioniert bei mir:

df %>%
  filter(complete.cases(df))    

Oder etwas allgemeiner:

library(dplyr) # 0.4
df %>% filter(complete.cases(.))

Dies hätte den Vorteil, dass die Daten in der Kette geändert werden könnten, bevor sie an den Filter übergeben werden.

Ein weiterer Benchmark mit mehr Spalten:

set.seed(123)
x <- sample(1e5,1e5*26, replace = TRUE)
x[sample(seq_along(x), 1e3)] <- NA
df <- as.data.frame(matrix(x, ncol = 26))
library(microbenchmark)
microbenchmark(
  na.omit = {df %>% na.omit},
  filter.anonymous = {df %>% (function(x) filter(x, complete.cases(x)))},
  rowSums = {df %>% filter(rowSums(is.na(.)) == 0L)},
  filter = {df %>% filter(complete.cases(.))},
  times = 20L,
  unit = "relative")

#Unit: relative
#             expr       min        lq    median         uq       max neval
 #         na.omit 12.252048 11.248707 11.327005 11.0623422 12.823233    20
 #filter.anonymous  1.149305  1.022891  1.013779  0.9948659  4.668691    20
 #         rowSums  2.281002  2.377807  2.420615  2.3467519  5.223077    20
 #          filter  1.000000  1.000000  1.000000  1.0000000  1.000000    20

Hier sind einige Benchmark-Ergebnisse für Grothendiecks Antwort. na.omit () benötigt 20x so viel Zeit wie die beiden anderen Lösungen. Ich denke, es wäre schön, wenn dplyr eine Funktion dafür hätte, vielleicht als Teil des Filters.

library('rbenchmark')
library('dplyr')

n = 5e6
n.na = 100000
df = data.frame(
    x1 = sample(1:10, n, replace=TRUE),
    x2 = sample(1:10, n, replace=TRUE)
)
df$x1[sample(1:n, n.na)] = NA
df$x2[sample(1:n, n.na)] = NA


benchmark(
    df %>% filter(complete.cases(x1,x2)),
    df %>% na.omit(),
    df %>% (function(x) filter(x, complete.cases(x)))()
    , replications=50)

#                                                  test replications elapsed relative
# 3 df %.% (function(x) filter(x, complete.cases(x)))()           50   5.422    1.000
# 1               df %.% filter(complete.cases(x1, x2))           50   6.262    1.155
# 2                                    df %.% na.omit()           50 109.618   20.217

Dies ist eine kurze Funktion, mit der Sie Spalten angeben können (im Grunde alles, was Sie dplyr::selectverstehen können), die keine NA-Werte haben sollten (modelliert nach pandas df.dropna () ):

drop_na <- function(data, ...){
    if (missing(...)){
        f = complete.cases(data)
    } else {
        f <- complete.cases(select_(data, .dots = lazyeval::lazy_dots(...)))
    }
    filter(data, f)
}

[ drop_na ist jetzt Teil von tidyr : das obige kann ersetzt werden durch library("tidyr")]

Beispiele:

library("dplyr")
df <- data.frame(a=c(1,2,3,4,NA), b=c(NA,1,2,3,4), ac=c(1,2,NA,3,4))
df %>% drop_na(a,b)
df %>% drop_na(starts_with("a"))
df %>% drop_na() # drops all rows with NAs

Versuche dies

df[complete.cases(df),] #output to console

ODER auch das

df.complete <- df[complete.cases(df),] #assign to a new data.frame

Mit den obigen Befehlen wird die Vollständigkeit aller Spalten (Variablen) in Ihrem data.frame überprüft.

Nur der Vollständigkeit halber dplyr::filterkann es insgesamt vermieden werden, aber dennoch in der Lage sein, Ketten zu bilden, indem nur magrittr:extract(ein Alias ​​von [) verwendet wird:

library(magrittr)
df = data.frame(
  x1 = c(1,2,3,NA),
  x2 = c(1,2,NA,5))

df %>%
  extract(complete.cases(.), )

Der zusätzliche Bonus ist die Geschwindigkeit. Dies ist die schnellste Methode unter den filterund na.omit-Varianten (getestet mit @Miha Trošt-Mikrobenchmarks).