Nginx proxy_read_timeout vs. proxy_connect_timeout

Ich habe angefangen, Nginx als Reverse-Proxy für eine Reihe von Servern zu verwenden, die irgendeine Art von Dienst bereitstellen.

Der Dienst kann manchmal ziemlich langsam sein (er läuft auf Java und die JVM bleibt manchmal in der "vollständigen Garbage Collection" hängen, die mehrere Sekunden dauern kann), daher habe ich den proxy_connect_timeoutWert auf 2 Sekunden gesetzt, damit Nginx genügend Zeit zum Ermitteln hat Stellen Sie sicher, dass der Dienst auf dem GC nicht mehr reagiert und die Anforderung nicht rechtzeitig an einen anderen Server weitergeleitet wird.

Ich habe auch festgelegt proxy_read_timeout, dass der Reverse-Proxy nicht mehr reagiert, wenn der Dienst selbst zu viel Zeit für die Berechnung der Antwort benötigt. Auch hier sollte die Anforderung auf einen anderen Server verschoben werden, der frei genug sein sollte, um eine zeitnahe Antwort zurückzusenden.

Ich habe einige Benchmarks ausgeführt und kann deutlich sehen, dass das proxy_connect_timeoutordnungsgemäß funktioniert, da einige Anforderungen genau zu der für das Verbindungszeitlimit angegebenen Zeit zurückkehren, da der Dienst feststeckt und eingehende Verbindungen nicht akzeptiert (der Dienst verwendet Jetty als eingebettetes Medium) Servlet-Container). Das proxy_read_timeoutfunktioniert auch, da ich Anfragen sehen kann, die nach dem dort angegebenen Timeout zurückkehren.

Das Problem ist, dass ich erwartet hätte, dass einige Anfragen nach dieser Zeitüberschreitung proxy_read_timeout + proxy_connect_timeoutoder fast nach dieser Zeitspanne eingehen , wenn der Dienst nicht mehr funktioniert und keine Verbindungen akzeptiert, wenn Nginx versucht, darauf zuzugreifen, aber bevor Nginx eine Zeitüberschreitung ausführen kann - es wird freigegeben und startet die Verarbeitung, ist aber zu langsam und Nginx würde aufgrund des Zeitlimits für das Lesen abgebrochen. Ich glaube, dass der Service solche Fälle hat, aber nachdem ich mehrere Benchmarks mit insgesamt mehreren Millionen Anfragen ausgeführt habe, konnte ich keine einzige Anfrage sehen, die in irgendetwas weiter oben zurückkehrt proxy_read_timeout(was das größere Timeout ist).

Ich würde mich über jeden Kommentar zu diesem Problem freuen, auch wenn ich denke, dass dies an einem Fehler in Nginx liegen könnte (ich muss mir den Code erst noch ansehen, dies ist nur eine Annahme), dass der Timeout-Zähler nach dem Herstellen der Verbindung nicht zurückgesetzt wird ist erfolgreich, wenn Nginx nichts vom Upstream-Server gelesen hat.

Ich konnte dies tatsächlich nicht reproduzieren auf:

2011/08/20 20:08:43 [notice] 8925#0: nginx/0.8.53
2011/08/20 20:08:43 [notice] 8925#0: built by gcc 4.1.2 20080704 (Red Hat 4.1.2-48)
2011/08/20 20:08:43 [notice] 8925#0: OS: Linux 2.6.39.1-x86_64-linode19

Ich habe dies in meiner nginx.conf eingerichtet:

proxy_connect_timeout   10;
proxy_send_timeout      15;
proxy_read_timeout      20;

Ich habe dann zwei Testserver eingerichtet. Eine, die nur eine Zeitüberschreitung bei der SYN verursacht und eine, die Verbindungen akzeptiert, aber niemals antwortet:

upstream dev_edge {
  server 127.0.0.1:2280 max_fails=0 fail_timeout=0s; # SYN timeout
  server 10.4.1.1:22 max_fails=0 fail_timeout=0s; # accept but never responds
}

Dann habe ich eine Testverbindung eingeschickt:

[m4@ben conf]$ telnet localhost 2480
Trying 127.0.0.1...
Connected to localhost.
Escape character is '^]'.
GET / HTTP/1.1
Host: localhost

HTTP/1.1 504 Gateway Time-out
Server: nginx
Date: Sun, 21 Aug 2011 03:12:03 GMT
Content-Type: text/html
Content-Length: 176
Connection: keep-alive

Dann schaute error_log, das dies zeigte:

2011/08/20 20:11:43 [error] 8927#0: *1 upstream timed out (110: Connection timed out) while connecting to upstream, client: 127.0.0.1, server: ben.dev.b0.lt, request: "GET / HTTP/1.1", upstream: "http://10.4.1.1:22/", host: "localhost"

dann:

2011/08/20 20:12:03 [error] 8927#0: *1 upstream timed out (110: Connection timed out) while reading response header from upstream, client: 127.0.0.1, server: ben.dev.b0.lt, request: "GET / HTTP/1.1", upstream: "http://127.0.0.1:2280/", host: "localhost"

Und dann das access.log mit dem erwarteten Timeout von 30s (10 + 20):

504:32.931:10.003, 20.008:.:176 1 127.0.0.1 localrhost - [20/Aug/2011:20:12:03 -0700] "GET / HTTP/1.1" "-" "-" "-" dev_edge 10.4.1.1:22, 127.0.0.1:2280 -

Hier ist das von mir verwendete Protokollformat, das die einzelnen Upstream-Timeouts enthält:

log_format  edge  '$status:$request_time:$upstream_response_time:$pipe:$body_bytes_sent $connection $remote_addr $host $remote_user [$time_local] "$request" "$http_referer" "$http_user_agent" "$http_x_forwarded_for" $edge $upstream_addr $upstream_cache_status';

Das Problem ist, dass ich erwartet hätte, dass einige Anfragen nach proxy_read_timeout + proxy_connect_timeout abgelaufen sind, oder fast so lange, wenn der Dienst blockiert ist und keine Verbindungen akzeptiert, wenn Nginx versucht, darauf zuzugreifen, aber bevor Nginx das Timeout zulässt. es wird freigegeben und startet die Verarbeitung, ist aber zu langsam und Nginx würde aufgrund des Zeitlimits für das Lesen abgebrochen.

Das Zeitlimit für die Verbindung bedeutet, dass TCP beim Handshake blockiert (z. B. gab es keine SYN_ACKs). TCP würde erneut versuchen, SYNs zu senden, aber Sie haben nur 2 Sekunden gegeben. Nginx zu gehen, einen anderen Server zu verwenden, so hat es einfach keine Zeit zum erneuten Senden von SYNs.

UPD. : Konnte nicht in Dokumenten gefunden werden, aber tcpdump zeigt, dass es 3 Sek. Gibt. Verzögerung zwischen dem ersten SYN-Sendeversuch und dem zweiten SYN-Sendeversuch.