Extrahieren Sie nur Monat und Jahr getrennt von der Spalte Pandas Datetime

Ich habe einen Datenrahmen, df, mit der folgenden Spalte:

df['ArrivalDate'] =
...
936   2012-12-31
938   2012-12-29
965   2012-12-31
966   2012-12-31
967   2012-12-31
968   2012-12-31
969   2012-12-31
970   2012-12-29
971   2012-12-31
972   2012-12-29
973   2012-12-29
...

Die Elemente der Spalte sind pandas.tslib.Timestamp.

Ich möchte nur das Jahr und den Monat angeben. Ich dachte, es gäbe einen einfachen Weg, aber ich kann es nicht herausfinden.

Folgendes habe ich versucht:

df['ArrivalDate'].resample('M', how = 'mean')

Ich habe folgenden Fehler erhalten:

Only valid with DatetimeIndex or PeriodIndex 

Dann habe ich versucht:

df['ArrivalDate'].apply(lambda(x):x[:-2])

Ich habe folgenden Fehler erhalten:

'Timestamp' object has no attribute '__getitem__' 

Irgendwelche Vorschläge?

Edit: Ich habe es irgendwie herausgefunden.

df.index = df['ArrivalDate']

Dann kann ich mithilfe des Index eine weitere Spalte neu abtasten.

Aber ich möchte immer noch eine Methode zum Neukonfigurieren der gesamten Spalte. Irgendwelche Ideen?

Wenn Sie möchten, dass neue Spalten Jahr und Monat getrennt anzeigen, können Sie dies tun:

df['year'] = pd.DatetimeIndex(df['ArrivalDate']).year
df['month'] = pd.DatetimeIndex(df['ArrivalDate']).month

oder...

df['year'] = df['ArrivalDate'].dt.year
df['month'] = df['ArrivalDate'].dt.month

Dann können Sie sie kombinieren oder so arbeiten, wie sie sind.

Bester Weg gefunden !!

Das df['date_column']muss im Datums- / Uhrzeitformat sein.

df['month_year'] = df['date_column'].dt.to_period('M')

Sie können auch Dfür Tag, 2M2 Monate usw. für verschiedene Abtastintervalle verwenden. Wenn Zeitreihendaten mit Zeitstempel vorliegen, können Sie granulare Abtastintervalle verwenden, z. B. 45Minfür 45 Minuten, 15Minfür 15 Minuten Abtastung usw.

Sie können direkt auf die Attribute yearund zugreifen monthoder Folgendes anfordern datetime.datetime:

In [15]: t = pandas.tslib.Timestamp.now()

In [16]: t
Out[16]: Timestamp('2014-08-05 14:49:39.643701', tz=None)

In [17]: t.to_pydatetime() #datetime method is deprecated
Out[17]: datetime.datetime(2014, 8, 5, 14, 49, 39, 643701)

In [18]: t.day
Out[18]: 5

In [19]: t.month
Out[19]: 8

In [20]: t.year
Out[20]: 2014

Eine Möglichkeit, Jahr und Monat zu kombinieren, besteht darin, eine Ganzzahl zu erstellen, die sie codiert, z. B.: 201408Für August 2014. In einer ganzen Spalte können Sie Folgendes tun:

df['YearMonth'] = df['ArrivalDate'].map(lambda x: 100*x.year + x.month)

oder viele Varianten davon.

Ich bin jedoch kein großer Fan davon, da dies die Datumsausrichtung und Arithmetik später schmerzhaft macht und besonders für andere schmerzhaft ist, die auf Ihren Code oder Ihre Daten ohne dieselbe Konvention stoßen. Eine bessere Möglichkeit besteht darin, eine Tag-Tag-Konvention auszuwählen, z. B. den letzten Wochentag außerhalb der USA oder den ersten Tag usw., und die Daten in einem Datums- / Zeitformat mit der gewählten Datumskonvention zu belassen.

Das calendarModul ist nützlich, um den Zahlenwert bestimmter Tage zu ermitteln, z. B. den letzten Wochentag. Dann könnten Sie so etwas tun wie:

import calendar
import datetime
df['AdjustedDateToEndOfMonth'] = df['ArrivalDate'].map(
    lambda x: datetime.datetime(
        x.year,
        x.month,
        max(calendar.monthcalendar(x.year, x.month)[-1][:5])
    )
)

Wenn Sie nach einer Möglichkeit suchen, das einfachere Problem zu lösen, bei dem nur die datetime-Spalte in eine String-Darstellung formatiert wird, können Sie einfach die strftimeFunktion aus der datetime.datetimeKlasse wie folgt verwenden :

In [5]: df
Out[5]: 
            date_time
0 2014-10-17 22:00:03

In [6]: df.date_time
Out[6]: 
0   2014-10-17 22:00:03
Name: date_time, dtype: datetime64[ns]

In [7]: df.date_time.map(lambda x: x.strftime('%Y-%m-%d'))
Out[7]: 
0    2014-10-17
Name: date_time, dtype: object

Wenn Sie das einzigartige Paar für das Monat und Jahr möchten, ist die Verwendung von apply ziemlich elegant.

df['mnth_yr'] = df['date_column'].apply(lambda x: x.strftime('%B-%Y')) 

Gibt Monat-Jahr in einer Spalte aus.

Vergessen Sie nicht, zuerst das Format auf Datum und Uhrzeit zu ändern, ich vergesse es im Allgemeinen.

df['date_column'] = pd.to_datetime(df['date_column'])

Auszug aus dem Jahr sagen aus ['2018-03-04']

df['Year'] = pd.DatetimeIndex(df['date']).year  

Das df ['Jahr'] erstellt eine neue Spalte. Wenn Sie den Monat extrahieren möchten, verwenden Sie einfach .month

Sie können Ihre Datumszeichenfolgen zuerst mit pandas.to_datetime konvertieren , wodurch Sie auf alle numpy datetime und timedelta zugreifen können können. Beispielsweise:

df['ArrivalDate'] = pandas.to_datetime(df['ArrivalDate'])
df['Month'] = df['ArrivalDate'].values.astype('datetime64[M]')

Dank jaknap32 wollte ich die Ergebnisse nach Jahr und Monat aggregieren, also funktionierte dies:

df_join['YearMonth'] = df_join['timestamp'].apply(lambda x:x.strftime('%Y%m'))

Die Ausgabe war ordentlich:

0    201108
1    201108
2    201108

Die Lösung von @ KieranPC ist der richtige Ansatz für Pandas, kann jedoch für beliebige Attribute nicht einfach erweitert werden. Hierzu können Sie getattrinnerhalb eines Generatorverständnisses verwenden und kombinieren mit pd.concat:

# input data
list_of_dates = ['2012-12-31', '2012-12-29', '2012-12-30']
df = pd.DataFrame({'ArrivalDate': pd.to_datetime(list_of_dates)})

# define list of attributes required    
L = ['year', 'month', 'day', 'dayofweek', 'dayofyear', 'weekofyear', 'quarter']

# define generator expression of series, one for each attribute
date_gen = (getattr(df['ArrivalDate'].dt, i).rename(i) for i in L)

# concatenate results and join to original dataframe
df = df.join(pd.concat(date_gen, axis=1))

print(df)

  ArrivalDate  year  month  day  dayofweek  dayofyear  weekofyear  quarter
0  2012-12-31  2012     12   31          0        366           1        4
1  2012-12-29  2012     12   29          5        364          52        4
2  2012-12-30  2012     12   30          6        365          52        4

df['year_month']=df.datetime_column.apply(lambda x: str(x)[:7])

Das funktionierte gut für mich, ich dachte nicht, dass Pandas das resultierende String-Datum als Datum interpretieren würden, aber als ich die Handlung machte, wusste es sehr gut, dass meine Agenda und der String year_month richtig bestellt wurden ... ich muss Pandas lieben!

Es gibt zwei Schritte, um das Jahr für den gesamten Datenrahmen zu extrahieren, ohne die Methode apply anzuwenden.

Schritt 1

Konvertieren Sie die Spalte in datetime:

df['ArrivalDate']=pd.to_datetime(df['ArrivalDate'], format='%Y-%m-%d')

Schritt 2

Extrahieren Sie das Jahr oder den Monat mit der DatetimeIndex()Methode

 pd.DatetimeIndex(df['ArrivalDate']).year

SINGLE LINE: Hinzufügen einer Spalte mit 'Jahr-Monat'-Paaren: (' pd.to_datetime 'ändert zuerst den Spaltentyp in Datum-Uhrzeit vor der Operation)

df['yyyy-mm'] = pd.to_datetime(df['ArrivalDate']).dt.strftime('%Y-%m')


Dementsprechend für eine zusätzliche Spalte "Jahr" oder "Monat":

df['yyyy'] = pd.to_datetime(df['ArrivalDate']).dt.strftime('%Y')

df['mm'] = pd.to_datetime(df['ArrivalDate']).dt.strftime('%m')