Als «dask» getaggte Fragen

Pandas DataFrame anwenden lassen () alle Kerne verwenden?

Ab August 2017 ist Pandas DataFame.apply () leider immer noch auf die Arbeit mit einem einzelnen Kern beschränkt, was bedeutet, dass ein Multi-Core-Computer den größten Teil seiner Rechenzeit beim Ausführen verschwendet df.apply(myfunc, axis=1). Wie können Sie alle Ihre Kerne verwenden, um die Anwendung auf einem Datenrahmen parallel auszuführen?

95 pandas dask

In welcher Situation kann ich Dask anstelle von Apache Spark verwenden? [geschlossen]

Geschlossen . Diese Frage basiert auf Meinungen . Derzeit werden keine Antworten akzeptiert. Möchten Sie diese Frage verbessern? Aktualisieren Sie die Frage, damit sie mit Fakten und Zitaten beantwortet werden kann, indem Sie diesen Beitrag bearbeiten . Geschlossen vor 4 Jahren . Verbessere diese Frage Ich verwende derzeit Pandas und …

80 python pandas apache-spark dask

Anwenden der Python-Funktion auf Pandas gruppierten DataFrame - Was ist der effizienteste Ansatz, um die Berechnungen zu beschleunigen?

Ich habe es mit ziemlich großen Pandas DataFrame zu tun - mein Datensatz ähnelt einem folgenden dfSetup: import pandas as pd import numpy as np #--------------------------------------------- SIZING PARAMETERS : R1 = 20 # .repeat( repeats = R1 ) R2 = 10 # .repeat( repeats = R2 ) R3 = 541680 …

9 python pandas apache-spark parallel-processing dask

Durch die Nutzung unserer Website bestätigen Sie, dass Sie unsere Cookie-Richtlinie und Datenschutzrichtlinie gelesen und verstanden haben.

Licensed under cc by-sa 3.0 with attribution required.