Ich lese in einer CSV-Datei mit mehreren Datetime-Spalten. Ich müsste die Datentypen beim Einlesen der Datei festlegen, aber die Datumszeiten scheinen ein Problem zu sein. Zum Beispiel:

headers = ['col1', 'col2', 'col3', 'col4']
dtypes = ['datetime', 'datetime', 'str', 'float']
pd.read_csv(file, sep='\t', header=None, names=headers, dtype=dtypes)

Beim Ausführen wird ein Fehler ausgegeben:

TypeError: Datentyp "datetime" wird nicht verstanden

Das Konvertieren von Spalten nachträglich über pandas.to_datetime () ist keine Option. Ich kann nicht wissen, welche Spalten Datetime-Objekte sind. Diese Informationen können sich ändern und stammen von allem, was meine dtypes-Liste informiert.

Alternativ habe ich versucht, die CSV-Datei mit numpy.genfromtxt zu laden, die dtypes in dieser Funktion festzulegen und dann in einen pandas.dataframe zu konvertieren, aber es verstümmelt die Daten. Jede Hilfe wird sehr geschätzt!

Warum funktioniert es nicht

Für read_csv muss kein datetime dtype festgelegt werden, da CSV-Dateien nur Zeichenfolgen, Ganzzahlen und Gleitkommazahlen enthalten können.

Wenn Sie einen dtype auf datetime setzen, interpretieren Pandas die datetime als Objekt, was bedeutet, dass Sie eine Zeichenfolge erhalten.

Pandas Weg, dies zu lösen

Die pandas.read_csv()Funktion hat ein Schlüsselwortargument namensparse_dates

Mit dieser Option können Sie Zeichenfolgen, Gleitkommazahlen oder Ganzzahlen im Handumdrehen mit der Standardeinstellung date_parser( dateutil.parser.parser) in Datumsangaben konvertieren.

headers = ['col1', 'col2', 'col3', 'col4']
dtypes = {'col1': 'str', 'col2': 'str', 'col3': 'str', 'col4': 'float'}
parse_dates = ['col1', 'col2']
pd.read_csv(file, sep='\t', header=None, names=headers, dtype=dtypes, parse_dates=parse_dates)

Dies führt dazu, dass Pandas lesen col1undcol2 als Zeichenfolgen , was höchstwahrscheinlich der Fall ist ("2016-05-05" usw.). Nach dem Lesen der Zeichenfolge wirkt der date_parser für jede Spalte auf diese Zeichenfolge und gibt alles zurück, was diese Funktion zurückgibt .

Definieren Ihrer eigenen Datumsanalysefunktion:

Die pandas.read_csv()Funktion auch hat ein Schlüsselwort Argument aufgerufendate_parser

Wenn Sie dies auf eine Lambda-Funktion setzen, wird diese bestimmte Funktion zum Parsen der Daten verwendet.

GOTCHA WARNUNG

Sie müssen ihm die Funktion geben, nicht die Ausführung der Funktion, daher ist dies korrekt

date_parser = pd.datetools.to_datetime

Das ist falsch :

date_parser = pd.datetools.to_datetime()

Pandas 0.22 Update

pd.datetools.to_datetime wurde nach verlegt date_parser = pd.to_datetime

Danke @stackoverYC

Es gibt einen parse_datesParameter read_csv, mit dem Sie die Namen der Spalten definieren können, die als Datum oder Uhrzeit behandelt werden sollen:

date_cols = ['col1', 'col2']
pd.read_csv(file, sep='\t', header=None, names=headers, parse_dates=date_cols)

Sie können versuchen, tatsächliche Typen anstelle von Zeichenfolgen zu übergeben.

import pandas as pd
from datetime import datetime
headers = ['col1', 'col2', 'col3', 'col4'] 
dtypes = [datetime, datetime, str, float] 
pd.read_csv(file, sep='\t', header=None, names=headers, dtype=dtypes)

Aber es wird wirklich schwierig sein, dies zu diagnostizieren, ohne dass Sie Daten basteln müssen.

Und wirklich, Sie möchten wahrscheinlich, dass Pandas die Daten in TimeStamps analysieren, also könnte das sein:

pd.read_csv(file, sep='\t', header=None, names=headers, parse_dates=True)

Ich habe versucht, die Option dtypes = [datetime, ...] zu verwenden, aber

import pandas as pd
from datetime import datetime
headers = ['col1', 'col2', 'col3', 'col4'] 
dtypes = [datetime, datetime, str, float] 
pd.read_csv(file, sep='\t', header=None, names=headers, dtype=dtypes)

Ich habe folgenden Fehler festgestellt:

TypeError: data type not understood

Die einzige Änderung, die ich vornehmen musste, war, datetime durch datetime.datetime zu ersetzen

import pandas as pd
from datetime import datetime
headers = ['col1', 'col2', 'col3', 'col4'] 
dtypes = [datetime.datetime, datetime.datetime, str, float] 
pd.read_csv(file, sep='\t', header=None, names=headers, dtype=dtypes)