Wie baue ich ein Numpy-Array aus einem Generator?

Wie kann ich aus einem Generatorobjekt ein Numpy-Array erstellen?

Lassen Sie mich das Problem veranschaulichen:

>>> import numpy
>>> def gimme():
...   for x in xrange(10):
...     yield x
...
>>> gimme()
<generator object at 0x28a1758>
>>> list(gimme())
[0, 1, 2, 3, 4, 5, 6, 7, 8, 9]
>>> numpy.array(xrange(10))
array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9])
>>> numpy.array(gimme())
array(<generator object at 0x28a1758>, dtype=object)
>>> numpy.array(list(gimme()))
array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9])

In diesem Fall gimme()handelt es sich um den Generator, dessen Ausgabe ich in ein Array verwandeln möchte. Der Array-Konstruktor iteriert jedoch nicht über den Generator, sondern speichert einfach den Generator selbst. Das Verhalten, das ich mir wünsche, ist das von numpy.array(list(gimme())), aber ich möchte nicht den Speicheraufwand dafür bezahlen, dass die Zwischenliste und das endgültige Array gleichzeitig im Speicher sind. Gibt es einen platzsparenderen Weg?

Bei Numpy-Arrays muss ihre Länge im Gegensatz zu Python-Listen zum Zeitpunkt der Erstellung explizit festgelegt werden. Dies ist erforderlich, damit Speicherplatz für jedes Element nacheinander im Speicher zugewiesen werden kann. Die fortlaufende Zuweisung ist das Hauptmerkmal von Numpy-Arrays: In Kombination mit der Implementierung von nativem Code können Operationen an ihnen viel schneller ausgeführt werden als reguläre Listen.

Vor diesem Hintergrund ist es technisch unmöglich, ein Generatorobjekt in ein Array umzuwandeln, es sei denn, Sie:

1. kann vorhersagen, wie viele Elemente es beim Ausführen ergeben wird:

   my_array = numpy.empty(predict_length())
   for i, el in enumerate(gimme()): my_array[i] = el
   

2. sind bereit, ihre Elemente in einer Zwischenliste zu speichern:

   my_array = numpy.array(list(gimme()))

3. Sie können zwei identische Generatoren erstellen, den ersten durchlaufen, um die Gesamtlänge zu ermitteln, das Array initialisieren und dann den Generator erneut durchlaufen, um jedes Element zu finden:

   length = sum(1 for el in gimme())
   my_array = numpy.empty(length)
   for i, el in enumerate(gimme()): my_array[i] = el
   

1 ist wahrscheinlich das, wonach Sie suchen. 2 ist platzsparend und 3 zeitlich ineffizient (Sie müssen den Generator zweimal durchlaufen).

Ein Google hinter diesem Stackoverflow-Ergebnis fand ich, dass es eine gibt numpy.fromiter(data, dtype, count). Die Standardeinstellung count=-1übernimmt alle Elemente aus der Iterable. Es erfordert eine dtypeexplizite Einstellung. In meinem Fall hat das funktioniert:

numpy.fromiter(something.generate(from_this_input), float)

Während Sie ein 1D-Array aus einem Generator mit numpy.fromiter()erstellen können, können Sie ein ND-Array aus einem Generator erstellen mit numpy.stack:

>>> mygen = (np.ones((5, 3)) for _ in range(10))
>>> x = numpy.stack(mygen)
>>> x.shape
(10, 5, 3)

Es funktioniert auch für 1D-Arrays:

>>> numpy.stack(2*i for i in range(10))
array([ 0,  2,  4,  6,  8, 10, 12, 14, 16, 18])

Beachten Sie, dass numpy.stackder Generator intern verbraucht und eine Zwischenliste mit erstellt wird arrays = [asanyarray(arr) for arr in arrays]. Die Implementierung finden Sie hier .

Etwas tangential, aber wenn Ihr Generator ein Listenverständnis ist, können Sie es verwenden numpy.where, um Ihr Ergebnis effektiver zu erhalten (ich habe dies in meinem eigenen Code entdeckt, nachdem ich diesen Beitrag gesehen habe).

Die Funktionen vstack , hstack und dstack können als Eingabegeneratoren verwendet werden, die mehrdimensionale Arrays ergeben.