So bauen Sie ein schnelles lokales Netzwerk auf

Ich arbeite in der Filmproduktion und brauche SEHR schnellen Zugriff auf sehr große Rohmaterialdateien. Ich verwende derzeit eSATA 6-Gbit / s-Docks für interne Festplatten, die so schnell sind, wie die Festplatte benötigt wird.

Wenn ich einen Server verwenden und über ein Netzwerk eine Verbindung zu meinen Arbeitsstationen herstellen würde, welche (relativ kostengünstige) Technologie würde es mir ermöglichen, die Laufwerksgeschwindigkeit zu erreichen oder zu übertreffen?

Hier zu Beginn des Jahres 2017 scheinen die schnellsten SATA-Festplatten mit rund 220 MegaByte / Sek. (1,760 Gigabit / Sek.) Die derzeit online verfügbaren Informationen zu sein.

Wenn Sie also nur versuchen, die Geschwindigkeit eines einzelnen Laufwerks zu übertreffen, und sich aus Gründen der Kosten pro Terabyte für große Videodateien auf Festplatten beschränken, sind 10 Gigabit Ethernet ausreichend.

Beachten Sie außerdem, dass das Thunderbolt-Netzwerk ebenfalls 10 Gigabit / Sek. Beträgt. Wenn Sie also bereits über Thunderbolt-Ports verfügen, können Sie damit experimentieren. Es könnte möglicherweise Ihre 6-Gigabit-eSATA-3-Ports übertreffen, obwohl ich mir nicht sicher bin, weil eSATA sehr speicherspezifisch ist, wohingegen das Speichern über Ethernet mehr Overhead bedeutet. Beachten Sie auch, dass Thunderbolt ein Desktop-Bus ist. Es erreicht nur wenige Meter, nicht die 100 Meter, die 10 Gigabit Ethernet bewältigen kann. Während Thunderbolt für Experimente und Prototypen interessant sein kann, während Sie Ihre Optionen abwägen, ist es wahrscheinlich nicht die richtige langfristige Lösung für Sie, es sei denn, Sie möchten alle Ihre Workstations und Festplatten an einem großen Tisch hintereinander verbinden.

Das war also für einzelne Festplatten. Wenn Sie diese Laufwerke jedoch zusammen RAIDen, sodass jeder Lese- oder Schreibzugriff auf mehrere Laufwerke verteilt wird, können Sie eine wesentlich bessere Leistung erzielen als mit einem einzelnen Laufwerk. Abhängig von Ihrem Budget können Sie PCIe / M.2-NVME-SSDs in einen PC einbauen, der als Server / NAS fungiert, und Sie erhalten eine blitzschnelle Speicherleistung (ca. 3,4 GigaByte / Sek. = 27 Gigabit / Sek.) Pro Sekunde Fahrt.

In diesem Fall möchten Sie sich vielleicht etwas Schnelleres als 10-Gigabit-Ethernet ansehen, aber wenn Sie sich online umschauen, sehen Sie aus, als würden die Preise dramatisch über 10-Gigabit-Ethernet hinaus springen. Vielleicht möchten Sie die Link-Aggregation über mehrere 10-Gigabit-Links durchführen. Ich habe auch einige Anekdoten online gesehen, die besagten, dass gebrauchte Netzwerkgeräte, wie zum Beispiel gebrauchte 40-Gbit / s-InfiniBand-Geräte, bei eBay gekauft werden können.

Wenn Sie sich an SATA-Festplatten halten, erzielen Sie durch die Implementierung von 10-Gbit-Ethernet und die Einrichtung eines RAID10 mit angemessener Größe auf dem Server eine spürbare Leistungssteigerung, die über die einer einzelnen SATA-Festplatte hinausgeht. Dies ist eine lohnende Investition, da Sie den Server auf beliebig viele Arbeitsstationen verteilen und in Zukunft durch Hinzufügen von Switches erweitern können. Sie müssen ein Cat-6-Ethernet-Kabel verwenden, da Cat-5E dies nicht verhindert. Vergessen Sie nicht, diese Kosten zu Ihren Berechnungen hinzuzufügen. Sie können auch SSDs als Cache hinzufügen, um das System noch weiter zu beschleunigen. Da Sie mit Videomaterial arbeiten, benötigen Sie vermutlich sehr viel Speicherplatz, der für die reine Erstellung mit SSDs extrem teuer wäre.

Sie können einen vorgefertigten Rackmount-Server von Dell oder HP kaufen und die Hardware-RAID-Karte verwenden, oder Sie können ein günstigeres Gehäuse von Supermicro kaufen und die Speichermaschine mithilfe von Software-RAID selbst bauen entweder Windows oder Linux. Hardware-RAID ist häufig schneller, wenn es sich um ein RAID1 handelt, da die Software nacheinander auf jede Festplatte schreiben und warten muss, bis der Schreibvorgang abgeschlossen ist, bevor mit dem nächsten Vorgang fortgefahren werden kann. Eine RAID-Karte kann im Allgemeinen parallel auf beide Festplatten schreiben und den Schreibvorgang zwischenspeichern, wodurch die Steuerung sofort an das Betriebssystem zurückgegeben wird. Beachten Sie jedoch, dass ein RAID0 zwar noch schneller wäre, Sie jedoch keine Redundanz haben und ein Ausfall eines einzelnen Laufwerks zu einem vollständigen Datenverlust führt. Verwenden Sie niemals ein RAID0, wenn Sie Daten haben, die Sie behalten möchten.

Am oberen Ende der Skala stehen SANs (Storage Area Networks) zur Verfügung, die jedoch so ausgelegt sind, dass viele Vorgänge von einer großen Anzahl separater Clients gleichzeitig ausgeführt werden können. Dies hat den Vorteil, dass der Durchsatz für eine kleine Anzahl verbundener Maschinen sehr hoch, für Ihre Anforderungen jedoch wahrscheinlich zu hoch und sehr teuer ist. Am unteren Ende befinden sich NAS-Geräte (Network Attached Storage), die bereits von anderen erwähnt wurden. Sie sind zwar viel einfacher als ein vollständiger Server, ich empfehle sie jedoch nicht, da ein NAS häufig eine Black Box ist. Sie sind so konzipiert, dass sie für die meisten Benutzer Plug & Play-fähig sind. Daher haben Sie nur wenig Kontrolle über das Betriebssystem. Ich musste nur ein kleines NAS zurückschicken, das ich für ein Büro eines Kunden gekauft hatte, da es nach einem Tag instabil wurde.

Ein weiterer Vorteil des Aufbaus eines Servers besteht darin, dass Sie Ihr gesamtes Filmmaterial an einem Ort konzentrieren. Dies macht es praktisch und relativ einfach, es regelmäßig zu sichern. Vernachlässigen Sie niemals Ihre Sicherungsstrategie. Eines Tages wirst du darauf angewiesen sein müssen!

Nichts ist besser als die Flexibilität und einfache Konfiguration von 10gbe, aber SAS ist überraschenderweise von sich aus netzwerkfähig:

Bei einer geringen Anzahl von Arbeitsstationen (n <8), auf denen Volumes nicht von mehreren Computern gleichzeitig beschrieben werden müssen, funktioniert SAS hervorragend. Mit einem Tyan JBOD (1.500 US-Dollar) und einem LSI HBA (400 US-Dollar) erhalten wir anhaltende Übertragungen von 3.400 MB / s (27 Gbit / s) auf SSD. Der JBOD verfügt über einen internen Switch mit 3 Uplinks zu HBAs. SAS-Switches sind jedoch für eine höhere Anzahl von Ports verfügbar.

Hier ist ein Geschwindigkeitstest eines unserer Volumes:

Intern verwenden wir diese Lösung mit Windows Server- Clustern, auf denen Speicherbereiche ausgeführt werden, die an Clients mit 10 GBE verteilt werden.

https://www.newegg.com/Product/Product.aspx?Item=N82E16820147593&cm_re=samsung_m.2- -20-147-593- -Product

Erstens kann eine M.2-SSD, die das richtige Motherboard voraussetzt, 2 bis 4 GBit / s und möglicherweise mehr erreichen. RAID ein paar davon zusammen, und Ihre Geschwindigkeiten sind noch höher.

Wenn Sie mehrere 10-Gbit-Netzwerkkarten zusammenschließen, können Sie sich der nativen Geschwindigkeit annähern.

Alles über 10 g ist viel mehr Geld.

40 Gigabit NIC https://www.serversupply.com/products/part_search/pid_lookup.asp?pid=263133&gclid=Cj0KEQiA9P7FBRCtoO33_LGUtPQBEiQAU_tBgIU2jZrJKf0kXFy96roOllcRkp7j-VoubG_n7xb0_pgaAnaT8P8HAQ

Verwenden Sie eine Glasfaser-Ethernet-Karte mit einem Glasfaser-Switch, idealerweise Multimode oder Single Mode mit Pads. Wenn Sie das Budget haben, können Sie das Ganze auf 10 Gbit / s bringen. Wenn Sie die Link-Aggregation mit einer Dual-Port-Glasfaserkarte verwenden, können Sie 20 Gbit / s erzielen. Da sich der Begriff "relativ erschwinglich" in Abhängigkeit von Ihrem Budget ändert, wäre es hilfreich, die tatsächlichen Zahlen darüber zu ermitteln, was Sie ausgeben möchten.

Der billigste Weg wäre die Verwendung von Link Aggregation (IE führt N-Kabel, normalerweise 2) anstelle von einem.

Auf diese Weise wird aus einem spottbilligen 1-Gbit-Link ein 2-Gbit-Link.

Dies bedeutet natürlich, dass Sie mindestens 4 Ports für einen einzelnen Client-Server benötigen.