Hohe Latenz / Unterbrechungen zwischen Cisco-Switches an zwei Standorten. Wie kann ich Fehler beheben?


7

Ich erhalte Benutzerbeschwerden über eine schlechte Leistung von Netzwerkanwendungen zwischen zwei Teilen einer großen Lagereinrichtung. Die Software ist eine fluchbasierte Terminalanwendung, die auf einem Linux-Server ausgeführt wird. Die Clients sind PCs, auf denen ein Telnet- oder SSH-Client ausgeführt wird. Das Problem begann vor einem Tag ohne kürzlich vorgenommene (bekannte) Änderungen an der Umgebung.

Der Core-Switch ist ein Cisco Catalyst 4507R-E in der MDF , der mit einem 4-köpfigen Stapel von Cisco Catalyst 2960-Switches in der IDF verbunden ist . Sie sind über Multimode-Glasfaser verbunden. Die Server befinden sich im MDF. Die betroffenen Clients befinden sich in der IDF.

Pingen aus dem Linux - Anwendungsserver an den Management - Adresse des 2960 - Stack über die Gebäude zeigt hohe Varianz und eine Menge von Latenz:

--- shipping-2960.mdmarra.local ping statistics ---
864 packets transmitted, 864 received, 0% packet loss, time 863312ms
rtt min/avg/max/mdev = 0.521/5.317/127.037/8.698 ms

Pings an Clientcomputer vom Anwendungsserver sind jedoch etwas konsistenter:

--- charles-pc.mdmarra.local ping statistics ---
76 packets transmitted, 76 received, 0% packet loss, time 75001ms
rtt min/avg/max/mdev = 0.328/0.481/1.355/0.210 ms

Keine der relevanten Linux-Schnittstellen oder Switchports zeigt Fehler an ( siehe unten in der Frage ).

Wie kann ich das beheben?

  • Gibt es eine einfache Methode zur Bestimmung der Hafenaktivität?
  • Ist die Ping-Varianz auf der Management-IP des Switches falsch zu messen?
  • Könnte dies das Ergebnis eines betrügerischen PCs sein?
  • Gibt es noch etwas, das ich überprüfen sollte, da das Problem auf einen Teil des Gebäudes beschränkt ist? Anderen Benutzern im Lager geht es gut und sie haben keine Probleme gehabt.

Bearbeiten:

Ich habe später festgestellt, dass die CPU-Auslastung des Cisco 2960 aufgrund des hier beschriebenen Fehlers extrem hoch ist .


Vom 2960 Stapel ...

shipping-2960#sh int GigabitEthernet1/0/52
GigabitEthernet1/0/52 is up, line protocol is up (connected) 
  Hardware is Gigabit Ethernet, address is b414.894a.09b4 (bia b414.894a.09b4)
  Description: TO_MDF_4507
  MTU 1500 bytes, BW 1000000 Kbit, DLY 10 usec, 
     reliability 255/255, txload 13/255, rxload 1/255
  Encapsulation ARPA, loopback not set
  Keepalive not set
  Full-duplex, 1000Mb/s, link type is auto, media type is 1000BaseSX SFP
  input flow-control is off, output flow-control is unsupported 
  ARP type: ARPA, ARP Timeout 04:00:00
  Last input 00:00:00, output 00:00:01, output hang never
  Last clearing of "show interface" counters never
  Input queue: 0/75/0/0 (size/max/drops/flushes); Total output drops: 441
  Queueing strategy: fifo
  Output queue: 0/40 (size/max)
  5 minute input rate 3053000 bits/sec, 613 packets/sec
  5 minute output rate 51117000 bits/sec, 4815 packets/sec
     981767797 packets input, 615324451566 bytes, 0 no buffer
     Received 295141786 broadcasts (286005510 multicasts)
     0 runts, 0 giants, 0 throttles
     0 input errors, 0 CRC, 0 frame, 0 overrun, 0 ignored
     0 watchdog, 286005510 multicast, 0 pause input
     0 input packets with dribble condition detected
     6372280523 packets output, 8375642643516 bytes, 0 underruns
     0 output errors, 0 collisions, 0 interface resets
     0 babbles, 0 late collision, 0 deferred
     0 lost carrier, 0 no carrier, 0 PAUSE output
     0 output buffer failures, 0 output buffers swapped out

Zusätzliche Ausgabe:

Cisco 4507R-E CPU-Auslastung - sortiert.

Cisco 2960 CPU-Auslastung - sortiert.

tcam Auslastung von 2960. Nicht verfügbar auf dem 4507.

shipping-2960# show platform tcam utilization

CAM Utilization for ASIC# 0                      Max            Used
                                             Masks/Values    Masks/values

 Unicast mac addresses:                       8412/8412        335/335   
 IPv4 IGMP groups + multicast routes:          384/384           1/1     
 IPv4 unicast directly-connected routes:       320/320          28/28    
 IPv4 unicast indirectly-connected routes:       0/0            28/28    
 IPv6 Multicast groups:                        320/320          11/11    
 IPv6 unicast directly-connected routes:       256/256           1/1     
 IPv6 unicast indirectly-connected routes:       0/0             1/1     
 IPv4 policy based routing aces:                32/32           12/12    
 IPv4 qos aces:                                384/384          42/42    
 IPv4 security aces:                           384/384          33/33    
 IPv6 policy based routing aces:                16/16            8/8     
 IPv6 qos aces:                                 60/60           31/31    
 IPv6 security aces:                           128/128           9/9     

Cisco 2960 CPU-Auslastungsverlauf ...

shipping-2960#show processes cpu history

    3333333444443333344444444443333333333444443333344444444443
    9977777111119999966666222229999977777555559999911111000008
100                                                           
 90                                                           
 80                                                           
 70                                                           
 60                                                           
 50                  *****               *****                
 40 **********************************************************
 30 **********************************************************
 20 **********************************************************
 10 **********************************************************
   0....5....1....1....2....2....3....3....4....4....5....5....
             0    5    0    5    0    5    0    5    0    5    
               CPU% per second (last 60 seconds)

    4488887787444454444787888444444454677774444444447888544444
    6401207808656506776708000447546664789977697589953201636647
100                                                           
 90                                                           
 80   *###*##*         *#*##*          *#**          ###      
 70   #######*         *#####         *###*         *###      
 60   #######*         *#####       * *####         *###*     
 50 * ########*********######  ** *** *####*********####* ** *
 40 ##########################################################
 30 ##########################################################
 20 ##########################################################
 10 ##########################################################
   0....5....1....1....2....2....3....3....4....4....5....5....
             0    5    0    5    0    5    0    5    0    5    
               CPU% per minute (last 60 minutes)
              * = maximum CPU%   # = average CPU%

    8889888888888888988888889888888888888888888888888888888888888888898889
    2322334378633453364454472653323431254225563228261399243233354222402310
100                                                                       
 90    *    ***   * **  *  ****        *   ***   * *  **       *     *   *
 80 *#############################*********************************#******
 70 *#####################################################################
 60 *#####################################################################
 50 ######################################################################
 40 ######################################################################
 30 ######################################################################
 20 ######################################################################
 10 ######################################################################
   0....5....1....1....2....2....3....3....4....4....5....5....6....6....7.
             0    5    0    5    0    5    0    5    0    5    0    5    0 
                   CPU% per hour (last 72 hours)
                  * = maximum CPU%   # = average CPU%

Hat der 2960 einen Spiegelanschluss?
Hauke ​​Laging

Nein, es werden keine Span / Mirror-Ports ausgeführt.
ewwhite

Welche Version von IOS ist auf dem 2960-S? Gibt es eine langsame Antwort, die etwas Lokales an die 2960-S ... -Drucker usw. pingt? Erhalten Sie eine langsame Antwort, die den Linux-Server vom 4507 anpingt?
GerryEgan

Antworten:


5

Mit Cisco Switches steht ICMP ganz unten auf der Prioritätenliste. Wir erhalten die gleichen Ergebnisse, wenn wir einen geschäftigen 3750-X anpingen.

Sie müssen sich die Systemauslastung der Switches ansehen, da sie vermutlich so beschäftigt sind, dass sie Software per Software verarbeiten. Führen Sie auf diesen Ebenen Layer-3-Dienste aus?

Es gibt einen ziemlich schwerwiegenden Fehler in IOS 12.2.53:

CSCth24278 (Catalyst 2960-S-Schalter)

Die CPU-Auslastung des Switch bleibt hoch (50 bis 60 Prozent), wenn auf den Switch nicht über eine Telnet- oder Konsolensitzung zugegriffen wird. Wenn Sie Telnet oder Konsole in den Switch einbinden, sinkt die CPU-Auslastung.

Es gibt keine Problemumgehung.

Aktualisieren Sie auf 12.2.58-SE1 oder höher, um diese Situation zu beheben.


Die CPU-Auslastung wurde in ( 1 ) und ( 2 ) eingefügt und der Verlauf in meiner Frage aktualisiert. Der 2960 ist nur Layer-2. Der 4507 führt einige leichte Routen durch.
ewwhite

@ewwhite TCAM util?
Pause

Siehe meine Frage. " tcam Auslastung von 2960. Nicht verfügbar auf dem 4507. "
ewwhite

das brachte mich in die richtige Richtung. Zu diesem Zeitpunkt stellen wir fest, dass durch das Hinzufügen einiger neuer Geräte der Schalter möglicherweise über einen Schwellenwert hinausgeschoben wurde. Bei bereits hoher CPU-Auslastung sind die Paketverluste sinnvoll.
ewwhite

@ewwhite freut sich zu hören. Das IOS sollte auch aktualisiert werden, da in der von Ihnen ausgeführten Version ein aktiver Fehler vorliegt.
Pause
Durch die Nutzung unserer Website bestätigen Sie, dass Sie unsere Cookie-Richtlinie und Datenschutzrichtlinie gelesen und verstanden haben.
Licensed under cc by-sa 3.0 with attribution required.