Was ist der schnellste Weg, um Daten von Array b nach Array a zu kopieren, ohne die Adresse von Array a zu ändern. Ich brauche dies, weil eine externe Bibliothek (PyFFTW) einen Zeiger auf mein Array verwendet, der sich nicht ändern kann.
Beispielsweise:
a = numpy.empty(n, dtype=complex)
for i in xrange(a.size):
a[i] = b[i]Ist es möglich, es ohne Schleife zu tun?
Antworten:
Ich glaube
a = numpy.empty_like (b)
a[:] = bwird schnell eine tiefe Kopie machen. Wie Funsi erwähnt, haben auch neuere Versionen von numpy die copytoFunktion.
a = berstellt lediglich einen neuen Verweis auf b. a[:] = bbedeutet "setze alle Elemente agleich denen von b". Der Unterschied ist wichtig, da Numpy-Arrays veränderbare Typen sind.
empty()etwa 10% schneller sind als zeros(). Überraschenderweise empty_like()ist noch schneller. copyto(a,b)ist schneller als die Array-Syntax a[:] = b. Siehe gist.github.com/bhawkins/5095558
np.copyto(a, b)und wann a = b.astype(b.dtype)eine Geschwindigkeitsverbesserung erforderlich ist
empty_likees so viel schneller ist als empty, zumal zeros_likees langsamer ist als zeros. Übrigens habe ich gerade meinen Benchmark (jetzt aktualisiert) erneut ausgeführt, und der Unterschied zwischen copyto(a,b)und a[:] = bscheint sich verflüchtigt zu haben. gist.github.com/bhawkins/5095558
NumPy Version 1.7 hat die numpy.copytoFunktion, die genau das tut, wonach Sie suchen:
numpy.copyto (dst, src)
Kopiert Werte von einem Array in ein anderes und sendet sie nach Bedarf.
Siehe: https://docs.scipy.org/doc/numpy/reference/generated/numpy.copyto.html
AttributeError: 'module' object has no attribute 'copyto'
a = numpy.array(b)ist sogar noch schneller als die vorgeschlagenen Lösungen bis numpy v1.6 und erstellt auch eine Kopie des Arrays. Ich konnte es jedoch nicht gegen copyto (a, b) testen, da ich nicht die neueste Version von numpy habe.
Um Ihre Frage zu beantworten, habe ich mit einigen Varianten gespielt und sie profiliert.
Fazit: Um Daten von einem Numpy-Array in ein anderes zu kopieren, verwenden Sie eine der integrierten Numpy-Funktionen numpy.array(src)oder numpy.copyto(dst, src)wo immer möglich.
(Wählen Sie jedoch immer die spätere Option dst, wenn der Speicher bereits zugewiesen ist, um den Speicher wiederzuverwenden. Siehe Profilerstellung am Ende des Beitrags.)
Profiling-Setup
import timeit
import numpy as np
import pandas as pd
from IPython.display import display
def profile_this(methods, setup='', niter=10 ** 4, p_globals=None, **kwargs):
if p_globals is not None:
print('globals: {0}, tested {1:.0e} times'.format(p_globals, niter))
timings = np.array([timeit.timeit(method, setup=setup, number=niter,
globals=p_globals, **kwargs) for
method in methods])
ranking = np.argsort(timings)
timings = np.array(timings)[ranking]
methods = np.array(methods)[ranking]
speedups = np.amax(timings) / timings
pd.set_option('html', False)
data = {'time (s)': timings,
'speedup': ['{:.2f}x'.format(s) if 1 != s else '' for s in speedups],
'methods': methods}
data_frame = pd.DataFrame(data, columns=['time (s)', 'speedup', 'methods'])
display(data_frame)
print()Profiling-Code
setup = '''import numpy as np; x = np.random.random(n)'''
methods = (
'''y = np.zeros(n, dtype=x.dtype); y[:] = x''',
'''y = np.zeros_like(x); y[:] = x''',
'''y = np.empty(n, dtype=x.dtype); y[:] = x''',
'''y = np.empty_like(x); y[:] = x''',
'''y = np.copy(x)''',
'''y = x.astype(x.dtype)''',
'''y = 1*x''',
'''y = np.empty_like(x); np.copyto(y, x)''',
'''y = np.empty_like(x); np.copyto(y, x, casting='no')''',
'''y = np.empty(n)\nfor i in range(x.size):\n\ty[i] = x[i]'''
)
for n, it in ((2, 6), (3, 6), (3.8, 6), (4, 6), (5, 5), (6, 4.5)):
profile_this(methods[:-1:] if n > 2 else methods, setup,
niter=int(10 ** it), p_globals={'n': int(10 ** n)})Ergebnisse für Windows 7 auf Intel i7 CPU, CPython v3.5.0, numpy v1.10.1.
Siehe auch Ergebnisse für eine Variante der Profilerstellung, bei der der Speicher des Ziels bereits während des Wertkopierens vorab zugewiesen wurde , da dies y = np.empty_like(x)Teil des Setups ist:
x.copy()ist so schnell wie np.array(x)und ich mag die Syntax viel mehr: $ python3 -m timeit -s "import numpy as np; x = np.random.random((100, 100))" "x.copy()"- 100000 loops, best of 3: 4.7 usec per loop. Ich habe ähnliche Ergebnisse für np.array(x). Getestet unter Linux mit einem i5-4210U und numpy 1.10.4
np.copymehr verzeiht: np.copy(False), np.copy(None)noch Arbeit, während a = None; a.copy()wirft AttributeError: 'NoneType' object has no attribute 'copy'. Außerdem erklären wir genauer, was in dieser Codezeile geschehen soll, indem wir die Funktion anstelle der Methodensyntax verwenden.
np.copy(None)dass kein Fehler auftritt, ist wirklich unpythonisch. Ein Grund mehr zu verwenden a.copy():)
y[:] = xjetzt geringfügig schneller ist als copyto(y, x). Code und Ausgabe unter gist.github.com/bhawkins/7cdbd5b9372cb798e34e21f92279d2dc
Sie können einfach verwenden:
b = 1*aDies ist der schnellste Weg, hat aber auch einige Probleme. Wenn Sie das nicht direkt definieren dtypevon aund auch die nicht überprüft , dtypeder bkann in Schwierigkeiten geraten Sie. Beispielsweise:
a = np.arange(10) # dtype = int64
b = 1*a # dtype = int64
a = np.arange(10.) # dtype = float64
b = 1*a # dtype = float64
a = np.arange(10) # dtype = int64
b = 1. * a # dtype = float64Ich hoffe, ich konnte den Punkt klarstellen. Manchmal wird der Datentyp mit nur einer kleinen Operation geändert.
a = numpy.zeros(len(b))oder erstellt a = numpy.empty(n,dtype=complex)auch ein neues Array.
Es gibt viele verschiedene Dinge, die Sie tun können:
a=np.copy(b)
a=np.array(b) # Does exactly the same as np.copy
a[:]=b # a needs to be preallocated
a=b[np.arange(b.shape[0])]
a=copy.deepcopy(b)Dinge, die nicht funktionieren
a=b
a=b[:] # This have given my code bugs