Was begrenzt die maximale Anzahl von Verbindungen auf einem Linux-Server?

Welche Kernelparameter oder andere Einstellungen steuern die maximale Anzahl von TCP-Sockets, die auf einem Linux-Server geöffnet sein können? Was sind die Kompromisse, wenn mehr Verbindungen zugelassen werden?

Beim Auslastungstest eines Apache-Servers mit ab ist mir aufgefallen, dass es ziemlich einfach ist, die offenen Verbindungen auf dem Server zu maximieren. Wenn Sie die Option -k auslassen, die die Wiederverwendung der Verbindung ermöglicht, und mehr als 10.000 Anfragen senden, werden die ersten 11.000 Anfragen von Apache bearbeitet und 60 Sekunden lang angehalten. Ein Blick auf die netstat-Ausgabe zeigt 11.000 Verbindungen im Status TIME_WAIT. Anscheinend ist das normal. Aus Gründen der TCP-Zuverlässigkeit werden Verbindungen standardmäßig 60 Sekunden lang geöffnet gehalten, auch nachdem der Client sie beendet hat .

Es scheint, als wäre dies eine einfache Möglichkeit, einen Server zu tun, und ich frage mich, wie die üblichen Einstellungen und Vorsichtsmaßnahmen dafür aussehen.

Hier ist meine Testausgabe:

# ab -c 5 -n 50000 http://localhost/
This is ApacheBench, Version 2.0.40-dev <$Revision: 1.146 $> apache-2.0
Copyright 1996 Adam Twiss, Zeus Technology Ltd, http://www.zeustech.net/
Copyright 2006 The Apache Software Foundation, http://www.apache.org/

Benchmarking localhost (be patient)
Completed 5000 requests
Completed 10000 requests
apr_poll: The timeout specified has expired (70007)
Total of 11655 requests completed

Hier ist der Befehl netstat, den ich während des Tests ausführe:

 # netstat --inet -p | grep "localhost:www" | sed -e 's/ \+/ /g' | cut -d' ' -f 1-4,6-7 | sort | uniq -c 
  11651 tcp 0 0 localhost:www TIME_WAIT -
      1 tcp 0 1 localhost:44423 SYN_SENT 7831/ab
      1 tcp 0 1 localhost:44424 SYN_SENT 7831/ab
      1 tcp 0 1 localhost:44425 SYN_SENT 7831/ab
      1 tcp 0 1 localhost:44426 SYN_SENT 7831/ab
      1 tcp 0 1 localhost:44428 SYN_SENT 7831/ab

Schließlich fand ich die Einstellung , die wirklich wurde die Anzahl der Verbindungen zu beschränken: net.ipv4.netfilter.ip_conntrack_max. Dieser Wert wurde auf 11.776 festgelegt. Was auch immer ich eingestellt habe, ist die Anzahl der Anforderungen, die ich in meinem Test bearbeiten kann, bevor ich tcp_fin_timeoutSekunden warten muss, bis weitere Verbindungen verfügbar sind. Der conntrackKernel verwendet die Tabelle, um den Status der Verbindungen zu verfolgen. Sobald die Tabelle voll ist, beginnt der Kernel, Pakete zu verwerfen und diese im Protokoll zu drucken:

Jun  2 20:39:14 XXXX-XXX kernel: ip_conntrack: table full, dropping packet.

Der nächste Schritt bestand darin, den Kernel dazu zu bringen, alle Verbindungen im TIME_WAITStatus wiederherzustellen, anstatt Pakete zu verwerfen. Ich könnte dies entweder durch Einschalten tcp_tw_recycleoder durch Erhöhen ip_conntrack_maxder Anzahl der lokalen Ports erreichen, die für Verbindungen von zur Verfügung gestellt werden ip_local_port_range. Ich denke, sobald der Kernel keine lokalen Ports mehr hat, beginnt er, Verbindungen zu recyceln. Hierfür werden mehr Speicherverfolgungsverbindungen verwendet, aber es scheint die bessere Lösung als das Einschalten zu sein, tcp_tw_recycleda die Dokumente implizieren, dass dies gefährlich ist.

Mit dieser Konfiguration kann ich ab den ganzen Tag laufen und nie aus Verbindungen heraus laufen:

net.ipv4.netfilter.ip_conntrack_max = 32768
net.ipv4.tcp_tw_recycle = 0
net.ipv4.tcp_tw_reuse = 0
net.ipv4.tcp_orphan_retries = 1
net.ipv4.tcp_fin_timeout = 25
net.ipv4.tcp_max_orphans = 8192
net.ipv4.ip_local_port_range = 32768    61000

Die tcp_max_orphansEinstellung hatte keinen Einfluss auf meine Tests und ich weiß nicht warum. Ich würde denken, dass es die Verbindungen in TIME_WAITZustand schließen würde, sobald es 8192 von ihnen gab, aber es tut das nicht für mich.

Sie möchten sich unbedingt ansehen, was das / proc-Dateisystem Ihnen in dieser Hinsicht zu bieten hat.

• TCP Tuning Guide beim US Department of Energy
• TCP-Optimierungsparameter für verschiedene Betriebssysteme: es
• IBMs "Linux im laufenden Betrieb verwalten"
• Dokumentation unter LinuxInsight.com unter / proc / sys / net / ipv4

Auf dieser letzten Seite finden Sie möglicherweise Folgendes, das Sie interessiert:

• / proc / sys / net / ipv4 / tcp_max_orphans , das die maximale Anzahl von Sockets steuert, die vom System gehalten werden, das nicht an etwas angeschlossen ist. Das Erhöhen dieses Werts kann bis zu 64 KByte nicht austauschbaren Speicher pro verwaisten Socket belegen .
• / proc / sys / net / ipv4 / tcp_orphan_retries : Steuert die Anzahl der erneuten Versuche , bevor ein Socket verwaist und geschlossen wird. Auf dieser Seite gibt es einen speziellen Hinweis zu Webservern, der Sie direkt interessiert ...

Ich glaube nicht, dass es ein Tunable gibt, mit dem man das direkt einstellen kann. Dies fällt unter die Kategorie der TCP / IP-Optimierung. Um herauszufinden, was Sie tun können, probieren Sie 'man 7 tcp'. Mit dem sysctl ('man 8 sysctl') werden diese gesetzt. 'sysctl -a | grep tcp 'zeigt Ihnen das meiste, was Sie tun können, aber ich bin nicht sicher, ob es alle zeigen wird. Sofern sich dies nicht geändert hat, sehen die geöffneten TCP / IP-Sockets wie Dateideskriptoren aus. So dies und der nächste Abschnitt in dieser Verbindung könnte das sein , was Sie suchen.

Versuchen Sie, das Folgende sowie tcp_fin_timeout festzulegen. Dies sollte TIME_WAIT schneller schließen.

net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_tw_recycle = 1

Der Standard-Apache (1) wurde vordefiniert, um nur 250 gleichzeitige Verbindungen zu unterstützen. Wenn Sie mehr wollten, musste eine Header-Datei geändert werden, um mehr gleichzeitige Sitzungen zu ermöglichen. Ich weiß nicht, ob dies bei Apache 2 immer noch zutrifft.

Außerdem müssen Sie eine Option hinzufügen, mit der für das Konto, auf dem Apache ausgeführt wird, eine Vielzahl offener Dateideskriptoren zugelassen werden. Dies wird in den vorherigen Kommentaren nicht erwähnt.

Achten Sie auf Ihre Worker-Einstellungen und darauf, welche Art von Keepalive-Timeouts in Apache selbst auftreten, wie viele Ersatzserver auf einmal ausgeführt werden und wie schnell diese zusätzlichen Prozesse beendet werden.

Sie können die im Status TIME_WAIT verbrachte Zeit reduzieren (Net.ipv4.tcp_fin_timeout festlegen). Sie könnten Apache durch YAWS oder Nginx oder ähnliches ersetzen.

Kompromisse bei mehr Verbindungen sind im Allgemeinen mit der Speichernutzung verbunden, und wenn Sie einen Verzweigungsprozess haben, überlasten viele untergeordnete Prozesse Ihre CPU.

Die absolute Anzahl von Sockets, die für eine einzelne IP-Adresse geöffnet sein können, beträgt 2 ^ 16 und wird von TCP / UDP definiert, nicht vom Kernel.

Das Apache HTTP-Server-Benchmarking-Tool ab in Version 2.4 verfügt über die Timeout- Option -s . Siehe auch ab (Apache Bench) -Fehler: apr_poll: Das angegebene Zeitlimit ist unter Windows abgelaufen (70007) .

Diese Option löst Ihr Problem.