Linux mit 256 GByte mem / 48-Kernen - Die Maschine fängt an, mit tonnenweise verbleibendem Speicher zu würgen

Maschine: Dell r815, CentOS 5.4, 256 GB RAM, 4 x 12 Kerne.

Wir haben eine Anwendung, die eine 275 GB-Datei hat. Es sortiert 20 GB Daten gleichzeitig an Ort und Stelle, dh es tauscht Bits aus und ersetzt sie in derselben Datei. Das alles funktioniert gut.

Es gibt einen letzten Durchgang, der dann die gesamte Datei durchliest und eine Zusammenführungssortierung für die verschiedenen 20-GB-Blöcke durchführt und diese in eine ganz neue Datei ausgibt.

Dieser Prozess scheint für eine Weile in Ordnung zu sein und es landet bei etwa 50 GB auf der Festplatte. Irgendwann danach geht die GANZE Maschine aus.

Einfache Befehle wie " ps -ef," ls -alhängen lange und belegen 100% der CPU (das ist nur ein Kern).

Wenn topich mir die Speicherstatistiken ansehe, sehe ich, dass sie ungefähr 120 GB RAM (also 128 GB frei) belegen und 120 GB im Bereich "zwischengespeichert" haben.

Hat jemand diese Art von Verhalten schon einmal gesehen? Der gleiche Prozess läuft gut auf einem Computer mit 64 GB Arbeitsspeicher. Ich denke also, dass er mit dem RAM-Speicher zusammenhängt, den ich auf dem Computer habe.

(Während wir sprechen, führe ich den Test auf diesem Computer mit allen bis auf 64 GB durch, um ein Hardwareproblem auszuschließen.)

Vermisse ich vielleicht ein paar vm params /etc/sysctrl.conf?

Vielen Dank!

Ihre Frage hat mich an etwas erinnert, das ich kürzlich gelesen habe:

http://jcole.us/blog/archives/2010/09/28/mysql-swap-insanity-and-the-numa-architecture/

Hier wird erläutert, wie sich NUMA-Architekturen (wie sie beispielsweise in einem 48-Kern-AMD-System vorkommen) auf die Speicherzuweisung und das Auslagern auswirken. Ich weiß nicht, ob es das ist, worauf Sie stoßen, aber es klang hinreichend ähnlich, so dass es vielleicht eine Lektüre wert ist.

Auch wenn es nicht die Antwort ist, macht es faszinierend zu lesen.

Dies schien also ein Kernel-Fehler in 64-Bit-Centos 5.4 und 64-Bit-Fedora 14 zu sein. Nachdem ich Centos 5.5 installiert hatte, war das Problem behoben.

Entschuldigung, ich habe keine bessere Antwort für alle ...

Sie können versuchen, eine Zeile zu /etc/sysctl.conf hinzuzufügen, um anzugeben, dass Swap nur verwendet werden soll, wenn dies unbedingt erforderlich ist.

swappiness = 0

Möglicherweise wissen Sie bereits, dass diese Datei globale Einstellungen definiert. Daher müssen Sie die Auswirkungen dieser Änderung auf die übrigen in der Umgebung ausgeführten Anwendungen berücksichtigen.

Wo ist dein temporärer Raum? Oft ist es auf tempfs. Tempfs bezieht Speicherplatz aus dem durch Swap-Speicher gesicherten Speicher. Wenn Sie also zu viel Material in tempfs haben, wird Swap-I / O ausgelöst.

Angesichts der Größe der Daten, die Sie zusammenführen, würde ich eine Änderung erwarten, wenn Sie die endgültige Zusammenführung durchführen.

Das Verteilen Ihres Swap-Speichers auf mehrere Festplatten kann hilfreich sein.

Während Sie möglicherweise nicht Swap treffen, können Sie immer noch I / O-gebunden sein. Das ls info legt dies nahe.

Ich würde auf die Ausgabe von schauen dstat -df, um Festplattenstatistiken dstat -afanzuzeigen , oder (ja, es wird eine Milliarde Spalten breit sein; dies passiert, wenn Sie 48 Kerne haben und die CPU-Auslastung auf allen zeigen), wenn Sie alles sehen möchten.

Ich wäre überrascht, wenn alle CPUs ausgelastet wären (Zusammenführungssortierung ist keine CPU-intensive Aufgabe), aber Sie sagen nichts über Ihr E / A-System. Wenn Sie nur wenige Datenträger und eine Reihe von Dateien haben, können Sie die Datenträger zerschlagen, indem Sie nach Dateien suchen, um die Zusammenführungssortierung aufrechtzuerhalten.