Programmierung h5py

Eingabe und Ausgabe von Numpy-Arrays auf h5py

Ich habe einen Python-Code, dessen Ausgabe eine Matrix mit Größe ist, deren Einträge alle vom Typ sind float. Wenn ich es mit der Erweiterung .datspeichere, liegt die Dateigröße in der Größenordnung von 500 MB. Ich habe gelesen, dass die Verwendung h5pydie Dateigröße erheblich reduziert. Nehmen wir also an, ich habe …

100 python arrays numpy h5py

Gibt es einen Vorteil für die Analysegeschwindigkeit oder die Speichernutzung bei der Verwendung von HDF5 für große Array-Speicher (anstelle von flachen Binärdateien)?

Ich verarbeite große 3D-Arrays, die ich oft auf verschiedene Arten in Scheiben schneiden muss, um eine Vielzahl von Datenanalysen durchzuführen. Ein typischer "Würfel" kann ~ 100 GB groß sein (und wird wahrscheinlich in Zukunft größer werden) Es scheint, dass das typische empfohlene Dateiformat für große Datenmengen in Python die Verwendung …

95 python numpy hdf5 pytables h5py

Als «h5py» getaggte Fragen