Konvertieren Sie die Pandas-Spalte mit NaNs in den Typ "int"

Ich lese Daten aus einer CSV-Datei in einen Pandas-Datenrahmen wie folgt. Für eine der Spalten idmöchte ich nämlich den Spaltentyp als angeben int. Das Problem ist, dass die idSerie fehlende / leere Werte hat.

Wenn ich versuche, die idSpalte beim Lesen der CSV-Datei in eine Ganzzahl umzuwandeln, wird Folgendes angezeigt:

df= pd.read_csv("data.csv", dtype={'id': int}) 
error: Integer column has NA values

Alternativ habe ich versucht, den Spaltentyp nach dem Lesen wie folgt zu konvertieren, aber diesmal erhalte ich:

df= pd.read_csv("data.csv") 
df[['id']] = df[['id']].astype(int)
error: Cannot convert NA to integer

Wie kann ich das angehen?

Das Fehlen von NaN rep in ganzzahligen Spalten ist ein Pandas "Gotcha" .

Die übliche Problemumgehung besteht darin, einfach Floats zu verwenden.

In Version 0.24 hat + pandas die Fähigkeit erhalten, ganzzahlige d-Typen mit fehlenden Werten zu halten.

Nullable Integer Datentyp .

Pandas können mit ganzzahligen Daten mit möglicherweise fehlenden Werten darstellen arrays.IntegerArray. Dies ist ein Erweiterungstyp, der in Pandas implementiert ist. Es ist nicht der Standard-D-Typ für Ganzzahlen und wird nicht abgeleitet. Sie müssen den dtype explizit an array()oder übergeben Series:

arr = pd.array([1, 2, np.nan], dtype=pd.Int64Dtype())
pd.Series(arr)

0      1
1      2
2    NaN
dtype: Int64

Verwenden Sie zum Konvertieren von Spalten in nullfähige Ganzzahlen:

df['myCol'] = df['myCol'].astype('Int64')

Mein Anwendungsfall ist das Munging von Daten vor dem Laden in eine DB-Tabelle:

df[col] = df[col].fillna(-1)
df[col] = df[col].astype(int)
df[col] = df[col].astype(str)
df[col] = df[col].replace('-1', np.nan)

Entfernen Sie NaNs, konvertieren Sie sie in int, konvertieren Sie sie in str und fügen Sie NANs erneut ein.

Es ist nicht schön, aber es erledigt den Job!

Es ist jetzt möglich, eine Pandas-Spalte zu erstellen, die NaNs als dtype enthält int, da sie jetzt offiziell zu pandas 0.24.0 hinzugefügt wird

Versionshinweise zu pandas 0.24.x Zitat: " Pandas hat die Fähigkeit erlangt, ganzzahlige d-Typen mit fehlenden Werten zu halten

Wenn Sie unbedingt Ganzzahlen und NaNs in einer Spalte kombinieren möchten, können Sie den Datentyp 'Objekt' verwenden:

df['col'] = (
    df['col'].fillna(0)
    .astype(int)
    .astype(object)
    .where(df['col'].notnull())
)

Dadurch werden NaNs durch eine Ganzzahl ersetzt (egal welche), in int konvertiert, in Objekt konvertiert und schließlich NaNs erneut eingefügt.

Wenn Sie Ihre gespeicherten Daten ändern können, verwenden Sie einen Sentinel-Wert für das Fehlen id. Ein häufiger Anwendungsfall, der durch den Spaltennamen abgeleitet wird, idist eine Ganzzahl, die streng größer als Null ist. Sie können sie 0als Sentinel-Wert verwenden, damit Sie schreiben können

if row['id']:
   regular_process(row)
else:
   special_process(row)

Sie können verwenden, .dropna()wenn es in Ordnung ist, die Zeilen mit den NaN-Werten zu löschen.

df = df.dropna(subset=['id'])

Alternativ können Sie das NaN verwenden .fillna()und .astype()durch Werte ersetzen und diese in int konvertieren.

Ich bin auf dieses Problem gestoßen, als ich eine CSV-Datei mit großen Ganzzahlen verarbeitet habe, während einige davon fehlten (NaN). Die Verwendung von float als Typ war keine Option, da ich möglicherweise die Genauigkeit verlieren würde.

Meine Lösung bestand darin , str als Zwischentyp zu verwenden . Dann können Sie die Zeichenfolge später im Code nach Belieben in int konvertieren. Ich habe NaN durch 0 ersetzt, aber Sie können einen beliebigen Wert auswählen.

df = pd.read_csv(filename, dtype={'id':str})
df["id"] = df["id"].fillna("0").astype(int)

Zur Veranschaulichung ist hier ein Beispiel, wie Schwimmer die Präzision verlieren können:

s = "12345678901234567890"
f = float(s)
i = int(f)
i2 = int(s)
print (f, i, i2)

Und die Ausgabe ist:

1.2345678901234567e+19 12345678901234567168 12345678901234567890

Die meisten Lösungen hier zeigen Ihnen, wie Sie eine Platzhalter-Ganzzahl verwenden, um Nullen darzustellen. Dieser Ansatz ist nicht hilfreich, wenn Sie sich nicht sicher sind, ob in Ihren Quelldaten keine Ganzzahl angezeigt wird. Meine Methode mit will formatiert Floats ohne ihre Dezimalwerte und konvertiert Nullen in Keine. Das Ergebnis ist ein Objektdatentyp, der beim Laden in eine CSV wie ein ganzzahliges Feld mit Nullwerten aussieht.

keep_df[col] = keep_df[col].apply(lambda x: None if pandas.isnull(x) else '{0:.0f}'.format(pandas.to_numeric(x)))

Ich bin auf dieses Problem gestoßen, als ich mit pyspark gearbeitet habe. Da dies ein Python-Frontend für Code ist, der auf einem JVM ausgeführt wird, ist Typensicherheit erforderlich, und die Verwendung von float anstelle von int ist keine Option. Ich habe das Problem umgangen, indem ich die Pandas pd.read_csvin eine Funktion eingeschlossen habe, die benutzerdefinierte Spalten mit benutzerdefinierten Füllwerten füllt, bevor sie in den erforderlichen Typ umgewandelt werden. Folgendes habe ich letztendlich verwendet:

def custom_read_csv(file_path, custom_dtype = None, fill_values = None, **kwargs):
    if custom_dtype is None:
        return pd.read_csv(file_path, **kwargs)
    else:
        assert 'dtype' not in kwargs.keys()
        df = pd.read_csv(file_path, dtype = {}, **kwargs)
        for col, typ in custom_dtype.items():
            if fill_values is None or col not in fill_values.keys():
                fill_val = -1
            else:
                fill_val = fill_values[col]
            df[col] = df[col].fillna(fill_val).astype(typ)
    return df

Entfernen Sie zuerst die Zeilen, die NaN enthalten. Führen Sie dann eine Ganzzahlkonvertierung für die verbleibenden Zeilen durch. Zuletzt die entfernten Zeilen wieder einfügen. Hoffe es wird funktionieren

import pandas as pd

df= pd.read_csv("data.csv")
df['id'] = pd.to_numeric(df['id'])

Angenommen, Ihre mit DateColumn formatierte 3312018.0 sollte als Zeichenfolge in den 31.03.2008 konvertiert werden. Und einige Datensätze fehlen oder 0.

df['DateColumn'] = df['DateColumn'].astype(int)
df['DateColumn'] = df['DateColumn'].astype(str)
df['DateColumn'] = df['DateColumn'].apply(lambda x: x.zfill(8))
df.loc[df['DateColumn'] == '00000000','DateColumn'] = '01011980'
df['DateColumn'] = pd.to_datetime(df['DateColumn'], format="%m%d%Y")
df['DateColumn'] = df['DateColumn'].apply(lambda x: x.strftime('%m/%d/%Y'))