Elegante Möglichkeit, fehlende Werte in einem data.frame zu melden

Hier ist ein kleiner Code, den ich geschrieben habe, um Variablen mit fehlenden Werten aus einem Datenrahmen zu melden. Ich versuche mir einen eleganteren Weg zu überlegen, der vielleicht einen data.frame zurückgibt, aber ich stecke fest:

for (Var in names(airquality)) {
    missing <- sum(is.na(airquality[,Var]))
    if (missing > 0) {
        print(c(Var,missing))
    }
}

Bearbeiten: Ich habe es mit data.frames mit Dutzenden bis Hunderten von Variablen zu tun, daher ist es wichtig, dass wir nur Variablen mit fehlenden Werten melden.

Benutz einfach sapply

> sapply(airquality, function(x) sum(is.na(x)))
  Ozone Solar.R    Wind    Temp   Month     Day 
     37       7       0       0       0       0

Sie können auch applyoder colSumsauf der von erstellten Matrix verwendenis.na()

> apply(is.na(airquality),2,sum)
  Ozone Solar.R    Wind    Temp   Month     Day 
     37       7       0       0       0       0
> colSums(is.na(airquality))
  Ozone Solar.R    Wind    Temp   Month     Day 
     37       7       0       0       0       0 

Wir können map_dfmit purrr verwenden.

library(mice)
library(purrr)

# map_df with purrr
map_df(airquality, function(x) sum(is.na(x)))
# A tibble: 1 × 6
# Ozone Solar.R  Wind  Temp Month   Day
# <int>   <int> <int> <int> <int> <int>
# 1    37       7     0     0     0     0

Mein neuer Favorit für (nicht zu breite) Daten sind Methoden aus einem exzellenten Naniar- Paket. Sie erhalten nicht nur Frequenzen, sondern auch Muster des Fehlens:

library(naniar)
library(UpSetR)

riskfactors %>%
  as_shadow_upset() %>%
  upset()

Es ist oft nützlich zu sehen, wo sich die Fehlschläge in Bezug auf Nicht-Fehlen befinden, was durch Zeichnen eines Streudiagramms mit Fehlschlägen erreicht werden kann:

ggplot(airquality,
       aes(x = Ozone,
           y = Solar.R)) +
 geom_miss_point()

Oder für kategoriale Variablen:

gg_miss_fct(x = riskfactors, fct = marital)

Diese Beispiele stammen aus einer Paketvignette , in der andere interessante Visualisierungen aufgeführt sind.

summary(airquality)

gibt Ihnen diese Informationen bereits

Die VIM- Pakete bieten auch ein schönes Diagramm für fehlende Daten für data.frame

library("VIM")
aggr(airquality)

Prägnanter: sum(is.na(x[1]))

Das ist

1. x[1] Schauen Sie sich die erste Spalte an

2. is.na() wahr, wenn es ist NA

3. sum() TRUEist 1, FALSEist0

Eine weitere grafische Alternative - plot_missingFunktion aus ausgezeichnetem DataExplorerPaket:

Docs weist auch darauf hin, dass Sie diese Ergebnisse für zusätzliche Analysen mit speichern können missing_data <- plot_missing(data).

Eine weitere Funktion, mit der Sie fehlende Daten anzeigen können, ist df_status aus der funModeling-Bibliothek

library(funModeling)

iris.2 ist der Iris-Datensatz mit einigen hinzugefügten NAs. Sie können diesen durch Ihren Datensatz ersetzen.

df_status(iris.2)

Dies gibt Ihnen die Anzahl und den Prozentsatz der NAs in jeder Spalte.

Für eine weitere grafische Lösung bietet das visdat Paket Angebote vis_miss.

library(visdat)
vis_miss(airquality)

Sehr ähnlich der AmeliaAusgabe mit einem kleinen Unterschied von% s bei Fehlschlägen.

Ich denke, die Amelia-Bibliothek leistet gute Arbeit beim Umgang mit fehlenden Daten. Sie enthält auch eine Karte zur Visualisierung der fehlenden Zeilen.

install.packages("Amelia")
library(Amelia)
missmap(airquality)

Sie können auch den folgenden Code ausführen, der die logischen Werte von na zurückgibt

row.has.na <- apply(training, 1, function(x){any(is.na(x))})

Eine andere grafische und interaktive Möglichkeit ist die Verwendung der is.na10Funktion aus der heatmaplyBibliothek:

library(heatmaply)

heatmaply(is.na10(airquality), grid_gap = 1, 
          showticklabels = c(T,F),
            k_col =3, k_row = 3,
            margins = c(55, 30), 
            colors = c("grey80", "grey20"))

Funktioniert wahrscheinlich nicht gut mit großen Datenmengen.

Wenn Sie dies für eine bestimmte Spalte tun möchten, können Sie dies auch verwenden

length(which(is.na(airquality[1])==T))

Mit der Paketfunktion von ExPanDaR prepare_missing_values_graphkönnen Paneldaten untersucht werden:

Eine dplyrLösung, um die Zählung zu erhalten, könnte sein:

summarise_all(df, ~sum(is.na(.)))

Oder um einen Prozentsatz zu erhalten:

summarise_all(df, ~(sum(is_missing(.) / nrow(df))))

Vielleicht ist es auch erwähnenswert, dass fehlende Daten hässlich, inkonsistent und nicht immer NAabhängig von der Quelle oder der Art und Weise, wie sie beim Import behandelt werden, codiert werden können. Die folgende Funktion kann abhängig von Ihren Daten und dem, was Sie als vermisst betrachten möchten, optimiert werden:

is_missing <- function(x){
  missing_strs <- c('', 'null', 'na', 'nan', 'inf', '-inf', '-9', 'unknown', 'missing')
  ifelse((is.na(x) | is.nan(x) | is.infinite(x)), TRUE,
         ifelse(trimws(tolower(x)) %in% missing_strs, TRUE, FALSE))
}

# sample ugly data
df <- data.frame(a = c(NA, '1', '  ', 'missing'),
                 b = c(0, 2, NaN, 4),
                 c = c('NA', 'b', '-9', 'null'),
                 d = 1:4,
                 e = c(1, Inf, -Inf, 0))

# counts:
> summarise_all(df, ~sum(is_missing(.)))
  a b c d e
1 3 1 3 0 2

# percentage:
> summarise_all(df, ~(sum(is_missing(.) / nrow(df))))
     a    b    c d   e
1 0.75 0.25 0.75 0 0.5