Einrichtung von HP ProCurve 2810-24G für iSCSI?


8

Ich habe ein Paar ProCurve 2810-24G, das ich mit einem Dell Equallogic SAN und Vmware ESXi verwenden werde. Da ESXi MPIO ausführt, bin ich mir bei der Konfiguration der Verbindungen zwischen den Switches etwas unsicher. Ist ein Kofferraum der richtige Weg zwischen den Schaltern?

Ich weiß, dass die Ports für das SAN und die ESXi-Hosts nicht markiert sein sollten. Bedeutet das, dass ich ein VLAN mit Tags für die Trunk-Ports haben möchte?

Dies ist mehr oder weniger die Konfiguration:

trunk 1-4 Trk1 Trunk 
snmp-server community "public" Unrestricted 
vlan 1 
    name "DEFAULT_VLAN" 
    untagged 24,Trk1 
    ip address 10.180.3.1 255.255.255.0 
    no untagged 5-23 
exit 
vlan 801 
    name "Storage" 
    untagged 5-23 
    tagged Trk1 
    jumbo 
exit 
no fault-finder broadcast-storm 
stack commander "sanstack" 
spanning-tree
spanning-tree Trk1 priority 4
spanning-tree force-version RSTP-operation

Das Equallogic PS4000 SAN verfügt über zwei Controller mit jeweils zwei Netzwerkschnittstellen. Dell empfiehlt, jeden Controller an jeden der Switches anzuschließen. Aus der VMware-Dokumentation geht hervor, dass die Erstellung eines VMkernels pro pNIC empfohlen wird. Mit MPIO kann dies einen Durchsatz von mehr als 1 Gbit / s ermöglichen.

Geben Sie hier die Bildbeschreibung ein

Antworten:


12

In den Kommentaren zu Chopper3s Antwort gab es einige Debatten, die aufgrund einiger schlecht verstandener Aspekte der Netzwerkanforderungen und des Multipathing-Verhaltens von Equallogic nicht gut informiert sind.

Zuerst die VMware-Seite: Für den Anfang auf der ESXi-Seite lautet die aktuelle Empfehlung bei Verwendung des iSCSI-Software-Initiators von VMware (für ESX \ ESXi 4.1) und Dell, dass jedem VMkernel-Port eine einzige physische Nic zugeordnet werden sollte wird für iSCSI verwendet. Der jetzt empfohlene Bindungsprozess erzwingt dies. Es erfordert, dass Sie nur eine aktive physische Netzwerkkarte und keine Standby-Netzwerkkarten für jeden VMkernel-Port haben. Keine Verklebung erlaubt. Jetzt können Sie dies betrügen und anschließend zurückgehen und eine Failover-Datei hinzufügen. Es ist jedoch beabsichtigt, dass MPIO das Failover behandelt, sodass dies keinen nützlichen Zweck erfüllt (zumindest wenn alles wie von VMware beabsichtigt funktioniert).

Die Standard-Multipathing-Richtlinie ermöglicht aktive, aktive Verbindungen zu einem Equallogic-Array mithilfe von Round Robin.

Zweitens die Equallogic-Seite: Equallogic-Arrays verfügen über zwei Controller, die im aktiven \ Standby-Modus arbeiten. Für die PS4000 haben diese zwei Gigabit-Nics auf jedem Controller. Für den aktiven Controller sind beide Nics aktiv und können E / A von derselben Quelle empfangen. In der Netzwerkkonfiguration wird empfohlen, die Netzwerkkarten des Arrays an separate Switches anzuschließen. Auf der Serverseite haben Sie mehrere Links, die auch auf separate Switches verteilt werden sollten. Nun zum ungeraden Teil - Equallogic-Arrays erwarten, dass alle Initiator-Ports alle aktiven Ports auf den Arrays sehen können. Dies ist einer der Gründe, warum Sie eine Amtsleitung zwischen den beiden Switches benötigen. Das bedeutet, dass bei einem Host mit zwei VMkernel iSCSI-Ports und einem einzelnen PS4000 4 aktive Pfade zwischen dem Initiator und dem Ziel vorhanden sind - zwei sind "direkt"

Für die Verbindungen des Standby-Controllers gelten dieselben Regeln, diese Nics werden jedoch erst nach einem Controller-Failover aktiv, und es gelten dieselben Prinzipien. Nach dem Failover in dieser Umgebung sind noch vier Pfade aktiv.

Drittens für erweitertes Multipathing: Equallogic verfügt jetzt über ein Multipath-Erweiterungsmodul, das in die VMware Plugable Storage-Architektur integriert wird und einen intelligenten Lastausgleich (unter Verwendung der geringsten Warteschlangentiefe, Round Robin oder MRU) über VMkernel-Ports bietet. Dies funktioniert nicht, wenn nicht alle vmkernel-Uplink-Nics eine Verbindung zu allen aktiven Equallogic-Ports herstellen können. Dies stellt auch sicher, dass die Anzahl der tatsächlich verwendeten Pfade angemessen bleibt. In großen Equallogic-Umgebungen kann die Anzahl der gültigen Pfade zwischen einem Host und einer Equallogic-Gruppe sehr hoch sein, da alle Ziel-Nics aktiv sind und alle Quell-Nics alle Ziel-Nics sehen können.

Viertens für größere Equallogic-Umgebungen: Wenn Sie eine Equallogic-Umgebung skalieren, fügen Sie einer gemeinsam genutzten Gruppe zusätzliche Arrays hinzu. Alle aktiven Ports auf allen Mitgliedsarrays in einer Gruppe müssen alle anderen aktiven Ports auf allen anderen Arrays in derselben Gruppe sehen können. Dies ist ein weiterer Grund, warum Sie Fatpipes benötigen, die Verbindungen zwischen allen Switches in Ihrer Equallogic iSCSI-Fabric herstellen. Diese Skalierung erhöht auch die Anzahl der gültigen aktiven Pfade zwischen Initiatoren und Zielen erheblich. Mit einer Equallogic-Gruppe bestehend aus 3 PS6000-Arrays (vier Nics pro Controller gegenüber 2 für das PS4000) und einem ESX-Host mit zwei VMkernel-Ports stehen dem MPIO-Stack 24 mögliche aktive Pfade zur Auswahl.

Fünfte Bonding \ Link-Aggregation und Inter-Switch-Links in einer Equallogic-Umgebung: Alle Inter-Array- und Initator-<-> Array-Verbindungen sind Einzelpunkt-zu-Punkt-Gigabit-Verbindungen (oder 10Gig, wenn Sie ein 10Gig-Array haben). Das Verbinden auf der ESX-Serverseite ist nicht erforderlich und es kann kein Vorteil daraus gezogen werden, und Sie können die Ports auf den Equallogic-Arrays nicht verbinden. Der einzige Bereich, in dem Link Aggregation \ Bonding \, wie auch immer Sie es nennen möchten, in einer Equallogic Switched Ethernet Fabric relevant ist, sind die Interswitch-Links. Diese Verbindungen müssen in der Lage sein, gleichzeitige Streams zu übertragen, die der Gesamtzahl der aktiven Equallogic-Ports in Ihrer Umgebung entsprechen können. Möglicherweise benötigen Sie dort eine große Gesamtbandbreite, selbst wenn jede Punkt-zu-Punkt-Verbindung zwischen Array-Ports und Iniatator-Ports auf 1 Gbit / s begrenzt ist.

Schließlich: In einer Equallogic-Umgebung kann und wird der Verkehr von einem Host (Initiator) zu einem Array die Interswitch-Verbindung durchlaufen. Ob ein bestimmter Pfad dies tut, hängt von der Quell- und Ziel-IP-Adresse für diesen bestimmten Pfad ab. Jeder Quellport kann jedoch eine Verbindung zu jedem Zielport herstellen, und mindestens einer dieser Pfade erfordert das Durchlaufen der ISL. In kleineren Umgebungen (wie dieser) werden alle diese Pfade verwendet und sind aktiv. In größeren Umgebungen wird nur eine Teilmenge möglicher Pfade verwendet, es wird jedoch dieselbe Verteilung durchgeführt. Die gesamte iSCSI-Bandbreite, die einem Host zur Verfügung steht (sofern ordnungsgemäß konfiguriert), ist die Summe der gesamten iSCSI-VMkernel-Portbandbreite, selbst wenn Sie eine Verbindung zu einem einzelnen Array und einem einzelnen Volume herstellen. Wie effizient das sein mag, ist ein weiteres Problem, und diese Antwort ist bereits viel zu lang.


1
Sie müssen diesen Rat befolgen! Ich arbeite für den größten EQL-Reseller im Mittleren Westen und setze diese Systeme täglich ein. Tagging / Trunks ist der richtige Weg, um sich vom MEM-Plugin vswitches für Sie erstellen zu lassen. Ihr ISL sollte so groß sein, wie Sie es sich leisten können, um verbindungsmäßig zu sein. Wir verwenden normalerweise stapelbare Schalter. Juniper EX4200 sind für iSCSI FANTASTISCH.
SpacemanSpiff

Wow, tolle Antwort. Ich habe diese Meldung erst jetzt gesehen, aber ich habe es geschafft, alles wie erwartet in Betrieb zu nehmen, und die Ergebnisse des Iometers zeigen, dass es so gut funktioniert, wie es nur geht. Müssen noch alle Redundanz überprüfen. Vielen Dank für Ihre äußerst informative Antwort!
3molo

6
Since ESXi does MPIO, I am a little uncertain on the configuration for links between the switches. Is a trunk the right way to go between the switches?

ESX / i führt eine eigene Pfadverwaltung durch - es wird nicht aktiv / aktiv für seine Links, es sei denn, zwei oder mehr seiner Links gehen entweder zum selben Switch oder die Switches befinden sich in einem CAM-Sharing-Modus wie dem VSS von Cisco - alles Andernfalls handelt es sich um eine aktive / passive Konfiguration.

Auf jeden Fall Trunk zwischen Switches, wenn Sie möchten, aber vermutlich haben beide Uplinks zu einem Core-Switch oder Router? Wenn ja, bin ich mir nicht ganz sicher, warum Sie auf diese Weise zwischen nur zwei Switches wechseln sollten, da die ESX / i-Boxen nur zum zweiten Switch wechseln, wenn der erste ausfällt (wenn er trotzdem richtig konfiguriert ist).

I know that the ports for the SAN and the ESXi hosts should be untagged, so does that mean that I want tagged VLAN on the trunk ports?

Ich weiß nicht, woher diese Annahme stammt. ESX / i arbeitet genauso gut in einem Setup mit oder ohne Tags, egal ob für Gast- oder iSCSI-Verkehr. Das heißt, ich hatte Probleme beim Mischen von Tags und Tags ohne Tags, wenn ich Standard-VLANs verwende. Daher tagge ich jetzt immer alles und habe kein Standard-VLAN. Es ist ein sehr flexibles Setup und hat meiner Erfahrung nach keinen erkennbaren Leistungseinbruch.


Ich bin mir ziemlich sicher, dass in der ESXi-Dokumentation für SAN-Speicher angegeben ist, dass man keine Nics binden sollte, sondern sich stattdessen auf MPIO verlassen sollte, um die Leistung zu steigern und die Vorteile der Redundanz zu nutzen (unabhängig davon, ob Verbindungen zu demselben Switch führen oder nicht). Natürlich gibt es keine Uplinks zu Core-Switches. Dies ist ein Switch-Paar, das nur zur Speicherung dient. Ich erkläre außerdem, dass ich beabsichtige, Hosts und SAN mit nicht getaggten VLANs zu verwenden, damit meine Frage weiterhin gültig ist. soll ich TAGGED in den Trunk-Links verwenden oder nicht?
3molo

1
Der Grund für die Verwendung von getaggten Ports liegt darin, dass Sie mehr als ein VLAN darauf übertragen müssen. Durch das Markieren der VLANs können Sie zwischen ihnen unterscheiden. Sie müssen LACP auch nicht verwenden, um ein Link-Aggregations-Bundle (Trunk für HP, Etherchannel für Cisco) zu erstellen. Sie können eine statische Aggregationsgruppe festlegen und vom Switch-Side-Balancing und Failover profitieren. Es ist jedoch auch üblich, die Switch-Seite in Ruhe zu lassen und ESX die Verkehrsentscheidung überlassen zu lassen.
Mcmeel

mcmeel, bitte überlegen Sie sich eine echte Antwort zu schreiben. Es ist einfacher zu kommentieren. Sie sind sich nicht sicher, wie die Konfiguration zwischen den Switches aussehen würde, wenn ich ESXi die Entscheidungsfindung überlassen würde?
3molo

-1 Chopper, ich glaube, Sie wissen entweder nicht genug über das Thema oder Sie haben meine Frage nicht ganz gelesen.
3molo

1
Die LAG funktioniert wie erwartet. Ich habe zwei 1-Gbit-Verbindungen und der EQ ist jeweils mit einem Switch verbunden. Ich erhalte bis zu 235 MB / s sequentielles Lesen und Schreiben. Entweder haben wir uns überhaupt nicht verstanden, oder ich habe meine Aussagen zum Setup richtig gemacht. Übrigens, sein Round-Robin, aber es gibt aktiv / aktiv an.
3molo

1

Es ist der SAN-Array-Controller, der definiert, wie Sie dies verbinden sollen. Bietet es dieselbe LUN an beiden Ports auf demselben Controller? Dann geht Port0 zu SwitchA, Port1 zu SwitchB und dasselbe mit dem nächsten Controller.

Warum sollten Sie LACP / Etherchannel gegen ein iSCSI-SAN mit 1-Gbit-Uplink-Ports verwenden? Es hilft dir in keiner Weise. Erstellen Sie 2 vswitches mit einem einzelnen pNic in jedem vSwitch und verbinden Sie den ersten pNic mit switchA, den zweiten pNic mit switchB. Dies gibt Ihnen volle Redundanz gegen Controller- / Switch- / Nic-Fehler.


Der Etherchannel / LACP besteht nur aus Inter-Switches, aber das hilft mir überhaupt nicht? Ich stellte mir vor, dass Verbindungen aufgrund von MPIO zwischen den Switches verkehren könnten, falls beispielsweise ein Port am Switch, an den einer der Controller angeschlossen ist.
3molo

Warum sollten Verbindungen zwischen den Schaltern hergestellt werden? Das macht keinen Sinn.
Pause

1
Jeder Initiator kontaktiert die Gruppen-IP, die zur IP einer der Netzwerkkarten in der Gruppe umleitet. Es gibt nichts, was einen Initiator auf Switch A daran hindert, eine Verbindung zum Array auf seiner mit Switch B verbundenen Netzwerkkarte herzustellen. Aufgrund der Anzahl der Verbindungen sollte eine 4-GB-LACP-Verbindung zwischen Switches ausreichen, um Probleme zu vermeiden. Ich persönlich bevorzuge es, alle Ports eines Controllers an einen Switch anzuschließen. Wenn Sie sie aufteilen, halbieren Sie in einer Fehlersituation Ihre Bandbreite am Array.
SpacemanSpiff

Tolle Antwort SpacemanSpiff, ich habe 2 LACP-Links verwendet.
3molo
Durch die Nutzung unserer Website bestätigen Sie, dass Sie unsere Cookie-Richtlinie und Datenschutzrichtlinie gelesen und verstanden haben.
Licensed under cc by-sa 3.0 with attribution required.