Wie kann man abschätzen, wie viel Speicher ein Pandas DataFrame benötigt?

Ich habe mich gefragt ... Wenn ich beispielsweise eine 400-MB-CSV-Datei in einen Pandas-Datenrahmen lese (mit read_csv oder read_table), gibt es eine Möglichkeit, zu schätzen, wie viel Speicher dies benötigt? Ich versuche nur, ein besseres Gefühl für Datenrahmen und Speicher zu bekommen ...

df.memory_usage() gibt zurück, wie viel jede Spalte belegt:

>>> df.memory_usage()

Row_ID            20906600
Household_ID      20906600
Vehicle           20906600
Calendar_Year     20906600
Model_Year        20906600
...

Um Indizes einzuschließen, übergeben Sie index=True.

So erhalten Sie den gesamten Speicherverbrauch:

>>> df.memory_usage(index=True).sum()
731731000

Durch das Übergeben deep=Truewird außerdem ein genauerer Bericht zur Speichernutzung erstellt, der die vollständige Nutzung der enthaltenen Objekte berücksichtigt.

Dies liegt daran, dass die Speichernutzung keinen Speicher enthält, der von Elementen belegt wird, die keine Komponenten des Arrays sind, wenn deep=False(Standardfall).

Hier ist ein Vergleich der verschiedenen Methoden - sys.getsizeof(df)am einfachsten.

In diesem Beispiel dfhandelt es sich um einen Datenrahmen mit 814 Zeilen, 11 Spalten (2 Zoll, 9 Objekte), der aus einem 427-KB-Shapefile gelesen wird

sys.getsizeof (df)

>>> System importieren
>>> sys.getsizeof (df)
(gibt Ergebnisse in Bytes)
462456

df.memory_usage ()

>>> df.memory_usage ()
...
(listet jede Spalte mit 8 Bytes / Zeile auf)

>>> df.memory_usage (). sum ()
71712
(ungefähr Zeilen * Spalten * 8 Bytes)

>>> df.memory_usage (deep = True)
(listet die volle Speichernutzung jeder Spalte auf)

>>> df.memory_usage (deep = True) .sum ()
(gibt Ergebnisse in Bytes)
462432

df.info ()

Druckt Datenrahmeninformationen in stdout. Technisch gesehen handelt es sich hierbei um Kibibyte (KiB), nicht um Kilobyte - wie in der Dokumentzeichenfolge angegeben: "Die Speichernutzung wird in lesbaren Einheiten angezeigt (Basis-2-Darstellung)." Das Erhalten von Bytes würde sich also mit 1024 multiplizieren, z. B. 451,6 KiB = 462.438 Bytes.

>>> df.info ()
...
Speichernutzung: 70.0+ KB

>>> df.info (memory_usage = 'deep')
...
Speichernutzung: 451,6 KB

Ich dachte, ich würde mehr Daten in die Diskussion einbringen.

Ich habe eine Reihe von Tests zu diesem Thema durchgeführt.

Durch die Verwendung des Python- resourcePakets habe ich die Speichernutzung meines Prozesses erhalten.

Und indem StringIOich die CSV in einen Puffer schreibe , kann ich die Größe leicht in Bytes messen.

Ich habe zwei Experimente durchgeführt, bei denen jeweils 20 Datenrahmen mit zunehmender Größe zwischen 10.000 und 1.000.000 Zeilen erstellt wurden. Beide haben 10 Spalten.

Im ersten Experiment habe ich nur Floats in meinem Datensatz verwendet.

Auf diese Weise erhöhte sich der Speicher im Vergleich zur CSV-Datei in Abhängigkeit von der Anzahl der Zeilen. (Größe in Megabyte)

Beim zweiten Experiment hatte ich den gleichen Ansatz, aber die Daten im Datensatz bestanden nur aus kurzen Zeichenfolgen.

Es scheint, dass das Verhältnis der Größe des CSV und der Größe des Datenrahmens sehr unterschiedlich sein kann, aber die Größe des Speichers wird immer um den Faktor 2-3 größer sein (für die Rahmengrößen in diesem Experiment).

Ich würde diese Antwort gerne mit weiteren Experimenten vervollständigen. Bitte kommentieren Sie, wenn ich etwas Besonderes ausprobieren soll.

Sie müssen dies in umgekehrter Reihenfolge tun.

In [4]: DataFrame(randn(1000000,20)).to_csv('test.csv')

In [5]: !ls -ltr test.csv
-rw-rw-r-- 1 users 399508276 Aug  6 16:55 test.csv

Technisch geht es im Speicher darum (einschließlich der Indizes)

In [16]: df.values.nbytes + df.index.nbytes + df.columns.nbytes
Out[16]: 168000160

Also 168 MB im Speicher mit einer 400 MB-Datei, 1 MB Zeilen mit 20 Float-Spalten

DataFrame(randn(1000000,20)).to_hdf('test.h5','df')

!ls -ltr test.h5
-rw-rw-r-- 1 users 168073944 Aug  6 16:57 test.h5

VIEL kompakter, wenn es als binäre HDF5-Datei geschrieben wird

In [12]: DataFrame(randn(1000000,20)).to_hdf('test.h5','df',complevel=9,complib='blosc')

In [13]: !ls -ltr test.h5
-rw-rw-r-- 1 users 154727012 Aug  6 16:58 test.h5

Die Daten waren zufällig, daher hilft die Komprimierung nicht allzu viel

Wenn Sie die dtypes Ihres Arrays kennen, können Sie direkt die Anzahl der Bytes berechnen, die zum Speichern Ihrer Daten + einige für die Python-Objekte selbst benötigt werden. Ein nützliches Attribut von numpyArrays ist nbytes. Sie können die Anzahl der Bytes aus den Arrays in einem Pandas abrufen, DataFrameindem Sie dies tun

nbytes = sum(block.values.nbytes for block in df.blocks.values())

objectdtype-Arrays speichern 8 Bytes pro Objekt (Objekt-dtype-Arrays speichern einen Zeiger auf ein undurchsichtiges Element PyObject). Wenn Sie also Zeichenfolgen in Ihrer CSV haben, müssen Sie berücksichtigen, dass read_csvdiese in objectdtype-Arrays umgewandelt werden, und Ihre Berechnungen entsprechend anpassen.

BEARBEITEN:

Siehe die numpyskalare Typen Seite für weitere Details über die object dtype. Da nur eine Referenz gespeichert ist, müssen Sie auch die Größe des Objekts im Array berücksichtigen. Wie auf dieser Seite angegeben, ähneln Objektarrays Python- listObjekten.

Ja da ist. Pandas speichert Ihre Daten in zweidimensionalen Numpy- ndarrayStrukturen, die nach dtypes gruppiert sind. ndarrayist im Grunde ein rohes C-Array von Daten mit einem kleinen Header. Sie können die Größe also abschätzen, indem Sie die Größe des multiplizierendtype enthaltenen Arrays mit den Abmessungen des Arrays .

Beispiel: Wenn Sie 1000 Zeilen mit 2 np.int32und 5 np.float64Spalten haben, verfügt Ihr DataFrame über ein 2x1000- np.int32Array und ein 5x1000-Arraynp.float64 Array.

4 Bytes * 2 * 1000 + 8 Bytes * 5 * 1000 = 48000 Bytes

Ich glaube, dies gibt der speicherinternen Größe jedes Objekt in Python. Interna müssen auf Pandas und Numpy überprüft werden

>>> import sys
#assuming the dataframe to be df 
>>> sys.getsizeof(df) 
59542497