Eingabe und Ausgabe von Numpy-Arrays auf h5py

Ich habe einen Python-Code, dessen Ausgabe eine Matrix mit Größe ist, deren Einträge alle vom Typ sind float. Wenn ich es mit der Erweiterung .datspeichere, liegt die Dateigröße in der Größenordnung von 500 MB. Ich habe gelesen, dass die Verwendung h5pydie Dateigröße erheblich reduziert. Nehmen wir also an, ich habe das 2D-Numpy-Array benannt A. Wie speichere ich es in einer h5py-Datei? Wie lese ich dieselbe Datei und füge sie als Numpy-Array in einen anderen Code ein, da ich Manipulationen mit dem Array vornehmen muss?

h5py bietet ein Modell von Datensätzen und Gruppen . Ersteres sind im Grunde Arrays und letzteres können Sie sich als Verzeichnisse vorstellen. Jeder ist benannt. Sie sollten sich die Dokumentation zur API und Beispiele ansehen:

http://docs.h5py.org/en/latest/quick.html

Ein einfaches Beispiel, in dem Sie alle Daten im Voraus erstellen und nur in einer HDF5-Datei speichern möchten, sieht ungefähr so ​​aus:

In [1]: import numpy as np
In [2]: import h5py
In [3]: a = np.random.random(size=(100,20))
In [4]: h5f = h5py.File('data.h5', 'w')
In [5]: h5f.create_dataset('dataset_1', data=a)
Out[5]: <HDF5 dataset "dataset_1": shape (100, 20), type "<f8">

In [6]: h5f.close()

Sie können diese Daten dann wieder laden, indem Sie Folgendes verwenden: '

In [10]: h5f = h5py.File('data.h5','r')
In [11]: b = h5f['dataset_1'][:]
In [12]: h5f.close()

In [13]: np.allclose(a,b)
Out[13]: True

Schauen Sie sich auf jeden Fall die Dokumente an:

http://docs.h5py.org

Das Schreiben in eine hdf5-Datei hängt entweder von h5py oder pytables ab (jede hat eine andere Python-API, die sich über der hdf5-Dateispezifikation befindet). Sie sollten auch einen Blick auf andere einfache Binärformaten nehmen von numpy bereitgestellt nativ wie np.save, np.savezetc:

http://docs.scipy.org/doc/numpy/reference/routines.io.html

Eine sauberere Methode zum Öffnen / Schließen von Dateien und zum Vermeiden von Speicherlecks:

Vorbereitung:

import numpy as np
import h5py

data_to_write = np.random.random(size=(100,20)) # or some such

Schreiben:

with h5py.File('name-of-file.h5', 'w') as hf:
    hf.create_dataset("name-of-dataset",  data=data_to_write)

Lesen:

with h5py.File('name-of-file.h5', 'r') as hf:
    data = hf['name-of-dataset'][:]