Wie kann man eine Matrix "kopieren", ohne eine temporäre Matrix im Speicher zu erstellen, die einen Speicherüberlauf verursacht?

Durch Zuweisen einer Matrix zu einem viel größeren zugewiesenen Speicher dupliziert matlab sie irgendwie, während sie "kopiert" wird. Wenn die zu kopierende Matrix groß genug ist, kommt es zu einem Speicherüberlauf. Dies ist der Beispielcode:

main_mat=zeros(500,500,2000);
n=500;
slice_matrix=zeros(500,500,n);
for k=1:4
    parfor i=1:n
        slice_matrix(:,:,i)=gather(gpuArray(rand(500,500)));
    end
    main_mat(:,:,1+(k-1)*n:1+(k-1)*n+n-1)=slice_matrix; %This is where the memory will likely overflow
end

Jeder Weg, um nur die zu "zerschlagen" slice_matrix das main_matohne Overhead auf das zu ? Danke im Voraus.

BEARBEITEN:

Der Überlauf trat auf, wenn er main_matvorher zugewiesen wurde. Wenn main_matmit main_mat=zeros(500,500,1);(kleinere Größe) initialisiert wird , tritt der Überlauf nicht auf, er verlangsamt sich jedoch, da die Zuordnung nicht erfolgt, bevor die Matrix zugewiesen wird. Dies verringert die Leistung erheblich, wenn der Bereich kzunimmt.

Das Hauptproblem ist, dass Zahlen mehr Platz als Nullen benötigen. main_mat=zeros(500,500,2000);benötigt wenig RAM, während main_mat = rand(500,500,2000);viel benötigt wird, egal ob Sie GPU oder parfor verwenden (in der Tat werden Sie durch parfor mehr RAM verwenden). Dies ist also keine unnatürliche Schwellung des Gedächtnisses. Nach Daniels Link unten scheint die Zuweisung von Nullen nur Zeiger auf den Speicher zu erzeugen, und der physische Speicher wird nur gefüllt, wenn Sie die Matrix für "Zahlen" verwenden. Dies wird vom Betriebssystem verwaltet. Und es wird für Windows, Mac und Linux erwartet, entweder Sie tun es mit Matlab oder anderen Sprachen wie C.

Das Entfernen parforwird wahrscheinlich Ihr Problem beheben.

parforist dort nicht nützlich. MATLABsparfor keine Parallelität des gemeinsam genutzten Speichers (dh es werden keine neuen Threads gestartet), sondern eine Parallelität des verteilten Speichers (es werden neue Prozesse gestartet). Es ist so konzipiert, dass die Arbeit auf einen Satz oder Arbeitsknoten verteilt wird. Obwohl es auch innerhalb eines Knotens (oder eines einzelnen Desktop-Computers) funktioniert, um die Arbeit auf mehrere Kerne zu verteilen, ist es keine optimale Methode, um Parallelität innerhalb eines Knotens durchzuführen.

Dies bedeutet, dass jeder der von gestarteten Prozesse parforeine eigene Kopie haben mussslice_matrix , was die Ursache für die große Speichermenge ist, die von Ihrem Programm verwendet wird.

Weitere Informationenparforparfor und den Zeitpunkt finden Sie unter "Entscheiden, wann verwendet werden soll " in der MATLAB-Dokumentation .

Ich gehe davon aus, dass Ihr Code nur ein Beispielcode ist und rand()einen benutzerdefinierten Code in Ihrer MVE darstellt. Es gibt also einige Hinweise und Tricks für die Speichernutzung in matlab.

Es gibt einen Ausschnitt aus den MathWorks-Schulungshandbüchern:

Wenn Sie in MATLAB eine Variable einer anderen zuweisen, wie dies beim Übergeben von Parametern an eine Funktion der Fall ist, erstellt MATLAB transparent einen Verweis auf diese Variable. MATLAB unterbricht die Referenz und erstellt nur dann eine Kopie dieser Variablen, wenn der Code einen oder mehrere der Werte ändert. Dieses Verhalten, das als " Copy-on-Write" oder " Lazy- Copying" bezeichnet wird, verschiebt die Kosten für das Kopieren großer Datenmengen, bis der Code einen Wert ändert. Wenn der Code keine Änderungen vornimmt, sind daher kein zusätzlicher Speicherplatz und keine zusätzliche Ausführungszeit zum Kopieren von Variablen erforderlich.

Als erstes müssen Sie die (Speicher-) Effizienz Ihres Codes überprüfen. Sogar der Code exzellenter Programmierer kann mit (ein wenig) Gehirnleistung weiter optimiert werden. Hier einige Hinweise zur Speichereffizienz

• nutzt die Nativ Vektorisierung von Matlab, zum Beispiel sum(X,2), mean(X,2),std(X,[],2)
• Stellen Sie sicher, dass matlab keine Matrizen erweitern muss (die implizite Erweiterung wurde kürzlich geändert). Es könnte effizienter sein, das zu verwendenbsxfun
• Einsatz in-place-Operationen, zB x = 2*x+3stattx = 2*x+3
• ...

Beachten Sie, dass das Optimum in Bezug auf die Speichernutzung nicht dasselbe ist, als ob Sie die Rechenzeit reduzieren möchten. Daher sollten Sie die Anzahl der Worker reduzieren oder die parfor-schleife nicht verwenden. (Da parforShared Memory nicht verwendet werden kann, gibt es bei Verwendung der Parallel Toolbox keine Funktion zum Kopieren beim Schreiben .

Wenn Sie sich Ihr Gedächtnis genauer ansehen möchten , was verfügbar ist und was von Matlab verwendet werden kann, lesen Sie feature('memstats'). Was ist für Sie interessant ist , ist die Virtual Memory , das ist

Gesamter und verfügbarer Speicher, der dem gesamten MATLAB-Prozess zugeordnet ist. Es ist durch die Prozessorarchitektur und das Betriebssystem begrenzt. oder verwenden Sie diesen Befehl [user,sys] = memory.

Schneller Seitenknoten : Matlab speichert Matrizen konsistent im Speicher. Für große Matrizen benötigen Sie einen großen Block freien Arbeitsspeichers. Dies ist auch der Grund, warum Sie Variablen zuweisen möchten, da Matlab durch dynamisches Ändern gezwungen wird, die gesamte Matrix jedes Mal an einen größeren Punkt im RAM zu kopieren, wenn sie aus dem aktuellen Punkt herauswächst.

Wenn Sie wirklich Speicherprobleme haben , möchten Sie vielleicht nur die Kunst der Datentypen kennenlernen - wie es in Sprachen niedrigerer Ebene erforderlich ist. main_mat=zeros(500,500,2000,'single');Zum Beispiel können Sie Ihre Speichernutzung halbieren, indem Sie direkt von Anfang an die Genauigkeit verwenden - übrigens funktioniert dies auch mit rand(...,'single')und nativeren Funktionen - obwohl einige der komplexeren Matlab-Funktionen die Eingabe vom Typ double erfordern, was Sie können wieder ausgestoßen.

Wenn ich das richtig verstehe, besteht Ihr Hauptproblem darin, dass parforkein Speicher freigegeben werden kann. Stellen Sie sich jeden Parfor Worker als fast separate Matlab-Instanz vor.

Grundsätzlich gibt es nur eine Problemumgehung, die ich kenne (die ich noch nie ausprobiert habe), nämlich "Shared Matrix" in Fileexchange: https://ch.mathworks.com/matlabcentral/fileexchange/28572-sharedmatrix

Weitere Lösungen: Wie andere vorgeschlagen haben: Parfor entfernen ist sicherlich eine Lösung, mehr RAM erhalten, große Arrays verwenden (die Festplatten verwenden, wenn der RAM voll ist, lesen Sie hier ), Operationen in kleinere Blöcke aufteilen, nicht zuletzt eine andere Alternative in Betracht ziehen als Matlab.

Sie können folgenden Code verwenden. Sie brauchen die Slice_Matrix eigentlich nicht

main_mat=zeros(500,500,2000);
n=500;
slice_matrix=zeros(500,500,n);
for k=1:4
   parfor i=1:n
       main_mat(:,:,1+(k-1)*n + i - 1) = gather(gpuArray(rand(500,500)));
   end
   %% now you don't need this main_mat(:,:,1+(k-1)*n:1+(k-1)*n+n-1)=slice_matrix; %This is where the memory will likely overflow
end