Wie kann ich explizit Speicher in Python freigeben?

Ich habe ein Python-Programm geschrieben, das auf eine große Eingabedatei reagiert, um einige Millionen Objekte zu erstellen, die Dreiecke darstellen. Der Algorithmus lautet:

1. Lesen Sie eine Eingabedatei
2. Verarbeiten Sie die Datei und erstellen Sie eine Liste der Dreiecke, die durch ihre Scheitelpunkte dargestellt werden
3. Geben Sie die Scheitelpunkte im AUS-Format aus: eine Liste der Scheitelpunkte, gefolgt von einer Liste der Dreiecke. Die Dreiecke werden durch Indizes in der Liste der Eckpunkte dargestellt

Die Anforderung von AUS, dass ich die vollständige Liste der Eckpunkte ausdrucken muss, bevor ich die Dreiecke drucke, bedeutet, dass ich die Liste der Dreiecke im Speicher halten muss, bevor ich die Ausgabe in eine Datei schreibe. In der Zwischenzeit erhalte ich aufgrund der Größe der Listen Speicherfehler.

Was ist der beste Weg, um Python mitzuteilen, dass ich einige Daten nicht mehr benötige und sie freigegeben werden können?

Laut der offiziellen Python-Dokumentation können Sie den Garbage Collector zwingen, nicht referenzierten Speicher mit freizugeben gc.collect(). Beispiel:

import gc
gc.collect()

Leider (abhängig von Ihrer Version und Version von Python) verwenden einige Objekttypen "freie Listen", die eine ordentliche lokale Optimierung darstellen, jedoch zu einer Speicherfragmentierung führen können, insbesondere indem immer mehr Speicher nur für Objekte eines bestimmten Typs und "vorgesehen" wird damit für den "allgemeinen Fonds" nicht verfügbar.

Die einzige wirklich zuverlässige Möglichkeit, um sicherzustellen, dass eine große, aber vorübergehende Speichernutzung alle Ressourcen an das System zurückgibt, besteht darin, diese Nutzung in einem Unterprozess durchzuführen, der die speicherhungrige Arbeit erledigt und dann beendet. Unter solchen Bedingungen erledigt das Betriebssystem seine Aufgabe und recycelt gerne alle Ressourcen, die der Unterprozess möglicherweise verschlungen hat. Glücklicherweise multiprocessingmacht das Modul diese Art von Operation (die früher eher schmerzhaft war) in modernen Versionen von Python nicht schlecht.

In Ihrem Anwendungsfall scheint es der beste Weg für die Unterprozesse zu sein, einige Ergebnisse zu akkumulieren und dennoch sicherzustellen, dass diese Ergebnisse für den Hauptprozess verfügbar sind, die Verwendung von semi-temporären Dateien (mit semi-temporär meine ich, NICHT die Art von Dateien, die beim Schließen automatisch verschwinden, nur gewöhnliche Dateien, die Sie explizit löschen, wenn Sie damit fertig sind).

Die delAnweisung könnte von Nutzen sein, aber beim IIRC kann nicht garantiert werden, dass der Speicher freigegeben wird . Die Dokumente sind hier ... und warum es nicht veröffentlicht wird, finden Sie hier .

Ich habe Leute auf Linux- und Unix-Systemen gehört, die einen Python-Prozess gezwungen haben, etwas zu arbeiten, Ergebnisse zu erzielen und ihn dann zu beenden.

Dieser Artikel enthält Hinweise zum Python-Garbage-Collector, aber ich denke, mangelnde Speicherkontrolle ist der Nachteil des verwalteten Speichers

Python wird durch Müll gesammelt. Wenn Sie also die Größe Ihrer Liste reduzieren, wird Speicherplatz zurückgewonnen. Sie können auch die Anweisung "del" verwenden, um eine Variable vollständig zu entfernen:

biglist = [blah,blah,blah]
#...
del biglist

Sie können den Speicher nicht explizit freigeben. Sie müssen lediglich sicherstellen, dass keine Verweise auf Objekte vorhanden sind. Sie werden dann Müll gesammelt, wodurch der Speicher frei wird.

Wenn Sie in Ihrem Fall große Listen benötigen, müssen Sie den Code normalerweise neu organisieren und stattdessen Generatoren / Iteratoren verwenden. Auf diese Weise müssen Sie die großen Listen überhaupt nicht im Speicher haben.

http://www.prasannatech.net/2009/07/introduction-python-generators.html

( delKann Ihr Freund sein, da Objekte als löschbar markiert werden, wenn keine anderen Verweise darauf vorhanden sind. Der CPython-Interpreter behält diesen Speicher häufig für die spätere Verwendung bei, sodass Ihr Betriebssystem den "freigegebenen" Speicher möglicherweise nicht sieht.)

Möglicherweise würden Sie überhaupt nicht auf Speicherprobleme stoßen, wenn Sie eine kompaktere Struktur für Ihre Daten verwenden. Daher sind Listen mit Zahlen viel weniger speichereffizient als das Format, das vom Standardmodul arrayoder vom numpyModul eines Drittanbieters verwendet wird. Sie würden Speicher sparen, indem Sie Ihre Scheitelpunkte in ein NumPy 3xN-Array und Ihre Dreiecke in ein N-Element-Array einfügen.

Ich hatte ein ähnliches Problem beim Lesen eines Diagramms aus einer Datei. Die Verarbeitung umfasste die Berechnung einer 200 000 x 200 000 Float-Matrix (zeilenweise), die nicht in den Speicher passte. Der Versuch, den Speicher zwischen den Berechnungen freizugeben, gc.collect()behebt den speicherbezogenen Aspekt des Problems, führte jedoch zu Leistungsproblemen: Ich weiß nicht warum, aber obwohl die Menge des verwendeten Speichers konstant blieb, gc.collect()dauerte jeder neue Aufruf etwas länger als Der vorherige. Das Sammeln von Müll nahm also ziemlich schnell die meiste Rechenzeit in Anspruch.

Um sowohl die Speicher- als auch die Leistungsprobleme zu beheben, habe ich auf die Verwendung eines Multithreading-Tricks umgestellt, den ich einmal irgendwo gelesen habe (es tut mir leid, ich kann den entsprechenden Beitrag nicht mehr finden). Bevor ich jede Zeile der Datei in einer großen forSchleife las , verarbeitete und ab gc.collect()und zu ausführte, um Speicherplatz freizugeben. Jetzt rufe ich eine Funktion auf, die einen Teil der Datei in einem neuen Thread liest und verarbeitet. Sobald der Thread endet, wird der Speicher automatisch ohne das seltsame Leistungsproblem freigegeben.

Praktisch funktioniert es so:

from dask import delayed  # this module wraps the multithreading
def f(storage, index, chunk_size):  # the processing function
    # read the chunk of size chunk_size starting at index in the file
    # process it using data in storage if needed
    # append data needed for further computations  to storage 
    return storage

partial_result = delayed([])  # put into the delayed() the constructor for your data structure
# I personally use "delayed(nx.Graph())" since I am creating a networkx Graph
chunk_size = 100  # ideally you want this as big as possible while still enabling the computations to fit in memory
for index in range(0, len(file), chunk_size):
    # we indicates to dask that we will want to apply f to the parameters partial_result, index, chunk_size
    partial_result = delayed(f)(partial_result, index, chunk_size)

    # no computations are done yet !
    # dask will spawn a thread to run f(partial_result, index, chunk_size) once we call partial_result.compute()
    # passing the previous "partial_result" variable in the parameters assures a chunk will only be processed after the previous one is done
    # it also allows you to use the results of the processing of the previous chunks in the file if needed

# this launches all the computations
result = partial_result.compute()

# one thread is spawned for each "delayed" one at a time to compute its result
# dask then closes the tread, which solves the memory freeing issue
# the strange performance issue with gc.collect() is also avoided

Andere haben einige Möglichkeiten veröffentlicht, wie Sie den Python-Interpreter möglicherweise dazu bringen können, den Speicher freizugeben (oder auf andere Weise Speicherprobleme zu vermeiden). Wahrscheinlich sollten Sie zuerst ihre Ideen ausprobieren. Ich halte es jedoch für wichtig, Ihnen eine direkte Antwort auf Ihre Frage zu geben.

Es gibt keine Möglichkeit, Python direkt anzuweisen, Speicherplatz freizugeben. Tatsache ist, dass Sie eine Erweiterung in C oder C ++ schreiben müssen, wenn Sie ein so geringes Maß an Kontrolle wünschen.

Es gibt jedoch einige Tools, die dabei helfen können:

• Cython
• Schluck
• Boost Python

Wenn Sie sich nicht für die Wiederverwendung von Scheitelpunkten interessieren, können Sie zwei Ausgabedateien verwenden - eine für Scheitelpunkte und eine für Dreiecke. Fügen Sie dann die Dreiecksdatei an die Scheitelpunktdatei an, wenn Sie fertig sind.