Wie lese ich CSV-Daten in ein Datensatzarray in NumPy?

Ich frage mich , ob es ein direkter Weg, um den Inhalt einer CSV - Datei in einen Rekord - Array, viel in der Art und Weise , dass R zu importieren read.table(), read.delim()und read.csv()Familie importiert Daten in R - Datenrahmen?

Oder ist es der beste Weg, csv.reader () zu verwenden und dann so etwas anzuwenden numpy.core.records.fromrecords()?

Sie können dazu die Numpy- genfromtxt()Methode verwenden, indem Sie das delimiterkwarg auf ein Komma setzen.

from numpy import genfromtxt
my_data = genfromtxt('my_file.csv', delimiter=',')

Weitere Informationen zur Funktion finden Sie in der jeweiligen Dokumentation .

Ich würde die read_csvFunktion aus der pandasBibliothek empfehlen :

import pandas as pd
df=pd.read_csv('myfile.csv', sep=',',header=None)
df.values
array([[ 1. ,  2. ,  3. ],
       [ 4. ,  5.5,  6. ]])

Dies ergibt einen Pandas DataFrame , der viele nützliche Datenmanipulationsfunktionen ermöglicht, die mit Numpy-Record-Arrays nicht direkt verfügbar sind .

DataFrame ist eine zweidimensional beschriftete Datenstruktur mit Spalten potenziell unterschiedlicher Typen. Sie können sich das wie eine Tabelle oder eine SQL-Tabelle vorstellen ...

Ich würde es auch empfehlen genfromtxt. Da die Frage jedoch nach einem Datensatzarray im Gegensatz zu einem normalen Array fragt , muss der dtype=NoneParameter dem genfromtxtAufruf hinzugefügt werden :

Bei einer Eingabedatei myfile.csv:

1.0, 2, 3
4, 5.5, 6

import numpy as np
np.genfromtxt('myfile.csv',delimiter=',')

gibt ein Array:

array([[ 1. ,  2. ,  3. ],
       [ 4. ,  5.5,  6. ]])

und

np.genfromtxt('myfile.csv',delimiter=',',dtype=None)

gibt ein Datensatzarray an:

array([(1.0, 2.0, 3), (4.0, 5.5, 6)], 
      dtype=[('f0', '<f8'), ('f1', '<f8'), ('f2', '<i4')])

Dies hat den Vorteil, dass Dateien mit mehreren Datentypen (einschließlich Zeichenfolgen) problemlos importiert werden können .

Ich habe das zeitlich festgelegt

from numpy import genfromtxt
genfromtxt(fname = dest_file, dtype = (<whatever options>))

gegen

import csv
import numpy as np
with open(dest_file,'r') as dest_f:
    data_iter = csv.reader(dest_f,
                           delimiter = delimiter,
                           quotechar = '"')
    data = [data for data in data_iter]
data_array = np.asarray(data, dtype = <whatever options>)

bei 4,6 Millionen Zeilen mit etwa 70 Spalten und stellte fest, dass der NumPy-Pfad 2 Minuten und 16 Sekunden und die Methode zum Verständnis der CSV-Liste 13 Sekunden dauerte.

Ich würde die CSV-Listen-Verständnismethode empfehlen, da sie höchstwahrscheinlich auf vorkompilierten Bibliotheken und nicht so sehr auf dem Interpreter wie NumPy basiert. Ich vermute, dass die Pandas-Methode einen ähnlichen Dolmetscheraufwand haben würde.

Sie können auch versuchen recfromcsv(), Datentypen zu erraten und ein ordnungsgemäß formatiertes Datensatzarray zurückzugeben.

Da ich beide Möglichkeiten mit NumPy und Pandas ausprobiert habe, hat die Verwendung von Pandas viele Vorteile:

• Schneller
• Weniger CPU-Auslastung
• 1/3 RAM-Nutzung im Vergleich zu NumPy genfromtxt

Dies ist mein Testcode:

$ for f in test_pandas.py test_numpy_csv.py ; do  /usr/bin/time python $f; done
2.94user 0.41system 0:03.05elapsed 109%CPU (0avgtext+0avgdata 502068maxresident)k
0inputs+24outputs (0major+107147minor)pagefaults 0swaps

23.29user 0.72system 0:23.72elapsed 101%CPU (0avgtext+0avgdata 1680888maxresident)k
0inputs+0outputs (0major+416145minor)pagefaults 0swaps

test_numpy_csv.py

from numpy import genfromtxt
train = genfromtxt('/home/hvn/me/notebook/train.csv', delimiter=',')

test_pandas.py

from pandas import read_csv
df = read_csv('/home/hvn/me/notebook/train.csv')

Datendatei:

du -h ~/me/notebook/train.csv
 59M    /home/hvn/me/notebook/train.csv

Mit NumPy und Pandas in Versionen:

$ pip freeze | egrep -i 'pandas|numpy'
numpy==1.13.3
pandas==0.20.2

Mit diesem Code können Sie CSV-Dateidaten an ein Array senden:

import numpy as np
csv = np.genfromtxt('test.csv', delimiter=",")
print(csv)

Verwenden von numpy.loadtxt

Eine ganz einfache Methode. Es erfordert jedoch, dass alle Elemente schweben (int und so weiter).

import numpy as np 
data = np.loadtxt('c:\\1.csv',delimiter=',',skiprows=0)  

Dies ist der einfachste Weg:

import csv with open('testfile.csv', newline='') as csvfile: data = list(csv.reader(csvfile))

Jetzt ist jeder Dateneintrag ein Datensatz, der als Array dargestellt wird. Sie haben also ein 2D-Array. Es hat mir so viel Zeit gespart.

Ich habe es versucht:

import pandas as p
import numpy as n

closingValue = p.read_csv("<FILENAME>", usecols=[4], dtype=float)
print(closingValue)

Ich würde vorschlagen, Tabellen ( pip3 install tables) zu verwenden. Sie können Ihre .csvDatei .h5mit pandas ( pip3 install pandas) speichern.

import pandas as pd
data = pd.read_csv("dataset.csv")
store = pd.HDFStore('dataset.h5')
store['mydata'] = data
store.close()

Sie können Ihre Daten dann einfach und mit weniger Zeit auch für große Datenmengen in ein NumPy-Array laden .

import pandas as pd
store = pd.HDFStore('dataset.h5')
data = store['mydata']
store.close()

# Data in NumPy format
data = data.values

Diese Arbeit als Zauber ...

import csv
with open("data.csv", 'r') as f:
    data = list(csv.reader(f, delimiter=";"))

import numpy as np
data = np.array(data, dtype=np.float)