/etc/security/limits.conf soft nproc limit scheint ignoriert zu werden

In meiner MongoDB-Datenbank traten unter Last Probleme auf, und die folgenden Fehler führten zu einem Spam in den Protokollen:

[initandlisten] pthread_create failed: errno:11 Resource temporarily unavailable
[initandlisten] can't create new thread, closing connection

Ich bin zu dem Schluss gekommen, dass ich die Einstellung "ulimit -u" oder "Max process", die bei 1024 lag, erhöhen muss, und die Nutzung könnte angesichts der gestarteten Web-Frontends diejenige überschritten haben (ich weiß nicht, wie ich das überprüfen soll). .

Ich habe /etc/security/limits.conf bearbeitet, um die letzten beiden Zeilen hinzuzufügen (die ersten beiden waren bereits vorhanden):

*                soft    nofile          350000
*                hard    nofile          350000
*                soft    nproc           30000
*                hard    nproc           30000

Dann habe ich das System neu gestartet (BTW sollte ich das getan haben, oder sollte ein Neustart des mongod-Dienstes ausreichen?)

Nach dem Neustart, Überprüfung der Prozessgrenzen für Mongod-Prozess scheint es, dass das Soft-Limit ignoriert wurde:

$ cat /proc/2207/limits
Limit                     Soft Limit           Hard Limit           Units
Max cpu time              unlimited            unlimited            seconds
Max file size             unlimited            unlimited            bytes
Max data size             unlimited            unlimited            bytes
Max stack size            8388608              unlimited            bytes
Max core file size        0                    unlimited            bytes
Max resident set          unlimited            unlimited            bytes
Max processes             1024                 30000                processes
Max open files            350000               350000               files
Max locked memory         65536                65536                bytes
Max address space         unlimited            unlimited            bytes
Max file locks            unlimited            unlimited            locks
Max pending signals       273757               273757               signals
Max msgqueue size         819200               819200               bytes
Max nice priority         0                    0
Max realtime priority     0                    0
Max realtime timeout      unlimited            unlimited            us

$ whoami
mongod


$ ulimit -a
core file size          (blocks, -c) 0
data seg size           (kbytes, -d) unlimited
scheduling priority             (-e) 0
file size               (blocks, -f) unlimited
pending signals                 (-i) 273757
max locked memory       (kbytes, -l) 64
max memory size         (kbytes, -m) unlimited
open files                      (-n) 350000
pipe size            (512 bytes, -p) 8
POSIX message queues     (bytes, -q) 819200
real-time priority              (-r) 0
stack size              (kbytes, -s) 8192
cpu time               (seconds, -t) unlimited
max user processes              (-u) 1024
virtual memory          (kbytes, -v) unlimited
file locks                      (-x) unlimited

Ich habe erwartet, dass "Max-Prozesse" sowohl für Hard- als auch für Soft-Limits bei 30000 liegen werden, wie in der Datei /etc/security/limits.conf angegeben, aber nur für die Hard-Version.

Was mache ich falsch?

Ich verwende Amazon Linux auf AWS EC2.

bash-4.1$ cat /etc/*-release
Amazon Linux AMI release 2012.09

— John M
quelle

Suchen Sie in /etc/security/conf.d/? Manchmal gibt es dort eine Datei, die überschreibt, was in der main limits.conf eingestellt ist.

— Dmourati

dmourati, danke, du hattest recht (genau wie Scott Mcinyre).

— John M

Überprüfen Sie die Datei /etc/security/limits.d/90-nproc.conf, da dies wahrscheinlich Ihre Einstellungen überschreibt. Ich habe letztes Jahr über genau dasselbe Thema geschrieben: http://scott.cm/max-processes-1024-limits-conf/

— Scott Mcintyre
quelle

Danke, das scheint es gewesen zu sein. Können Sie mir auch sagen, ob ein Neustart des "mongod" -Prozesses ausreichen sollte, um die neuen Einstellungen zu lesen?

— John M

Ja, sobald Sie das Limit geändert haben, müssen Sie nur den Mongod-Prozess neu starten und die neuen Limits werden gelesen.

— Scott Mcintyre

Danke, das hat auch funktioniert, beide Limits liegen jetzt bei 30000. Vielen Dank für Ihre Hilfe, Scott!

— John M

Anstatt eine Systemdatei zu bearbeiten, empfehle ich, eine Datei zu erstellen /etc/security/limits.d/, die mit 99_local(um zu zeigen, dass Sie sie erstellt haben) beginnt, und alles zu überschreiben, was Sie dort möchten.

— Alastair Irvine

Sie können versuchen, den Wert ulimit am Anfang des Skripts zu ändern, wodurch die Mongodb-Datenbank gestartet wird.

Ein untergeordneter Prozess erbt die Ressourcenbegrenzungen vom aufrufenden Prozess.

— Gänsemann
quelle

Ich möchte den globalen Wert ändern. Es funktionierte für 'nofile' und für das harte Limit von 'nproc', aber nicht für das weiche Limit von 'nproc'.

— John M