Einige Hauptwahrheiten über Speicher, oder warum ist Enterprise-Speicher so teuer?
Consumer-Festplatten bieten viel Speicherplatz, sodass selbst der anspruchsvollste Benutzer von * cough * Streaming-Medien * cough * genug kaufen kann, um eine Sammlung von mehreren Terabyte zu speichern. Tatsächlich wächst die Festplattenkapazität seit einigen Jahrzehnten schneller als der Transistor auf Silizium setzt.
Der Speicher für Unternehmen ist etwas komplexer, da die Daten Leistungs- und Integritätsanforderungen aufweisen, die einen etwas schwereren Ansatz erfordern. Die Daten müssen eine gewisse Garantie für die Verfügbarkeit bei Hardwarefehlern haben und müssen möglicherweise mit einer großen Anzahl von Benutzern gemeinsam genutzt werden, wodurch viel mehr Lese- / Schreibanforderungen als ein einzelner Benutzer generiert werden.
Die technischen Lösungen für dieses Problem können pro Gigabyte um ein Vielfaches teurer sein als Consumer-Speicherlösungen. Sie erfordern auch physische Wartung; Backups müssen außerhalb des Standorts erstellt und häufig aufbewahrt werden, damit ein Brand die Daten nicht zerstört. Dieser Prozess erhöht die laufenden Kosten.
Performance
Auf Ihrem 1-TB-Consumer- oder sogar Enterprise-Nearline-Laufwerk haben Sie nur einen Kopf. Die Scheibe dreht sich mit 7200 U / min oder 120 Umdrehungen pro Sekunde. Dies bedeutet, dass Sie theoretisch maximal 120 I / O-Operationen mit wahlfreiem Zugriff pro Sekunde * und in der Praxis etwas weniger ausführen können. Daher ist das Kopieren einer großen Datei auf ein einzelnes 1-TB-Volume relativ langsam.
Auf einem Festplatten-Array mit 14 x 72-GB-Festplatten haben Sie 14 Heads-Over-Festplatten mit beispielsweise 15.000 U / min oder ungefähr 250 Umdrehungen pro Sekunde. Dies ergibt ein theoretisches Maximum von 3.500 zufälligen E / A-Operationen pro Sekunde * (in der Praxis wiederum etwas weniger). Alle anderen Dinge, die einer Dateikopie gleichkommen, sind um ein Vielfaches schneller.
*Sie könnten mehr als einen Direktzugriff pro Umdrehung der Festplatte erhalten, wenn die Geometrie der Lesevorgänge es dem Laufwerk ermöglichte, die Köpfe zu bewegen und einen Sektor zu lesen, der zufällig innerhalb einer Umdrehung der Festplatte verfügbar war. Wenn die Festplattenzugriffe weit verteilt waren, werden Sie wahrscheinlich weniger als einen Durchschnitt haben. Wenn ein Festplatten-Array in einem gestreiften Layout (siehe unten) formatiert ist, wird in den meisten Fällen maximal ein Streifen pro Umdrehung der Festplatte gelesen, und (abhängig vom RAID-Controller) möglicherweise weniger als einer im Durchschnitt.
Das 1-TB-Laufwerk mit 7200 U / min ist bei sequenziellen E / A-Vorgängen wahrscheinlich relativ schnell. Festplatten-Arrays, die in einem Striping-Schema (RAID-0, RAID-5, RAID-10 usw.) formatiert sind, können in der Regel höchstens einen Stripe pro Umdrehung der Festplatte lesen. Mit einem 64K-Stripe können wir 64Kx250 = 16MB Daten pro Sekunde von einer Festplatte mit 15.000 U / min lesen. Dies ergibt einen sequentiellen Durchsatz von etwa 220 MB pro Sekunde auf einem Array von 14 Festplatten, was auf Papier nicht viel schneller ist als die für eine moderne 1-TB-SATA-Festplatte angegebenen 150 MB / s.
Für Video-Streaming (zum Beispiel) hat ein Array von 4 SATA-Festplatten in einem RAID-0 mit einer großen Stripe-Größe (einige RAID-Controller unterstützen Stripe-Größen bis zu 1 MB) einen recht hohen sequenziellen Durchsatz. In diesem Beispiel könnten theoretisch ca. 480 MB / s gestreamt werden, was bequem genug ist, um unkomprimierte HD-Videos in Echtzeit zu bearbeiten. So können Besitzer von Mac-Pros und ähnlicher Hardware HD-Video-Compositing-Aufgaben ausführen, für die noch vor wenigen Jahren ein Computer mit einem Direct-Attach-Glasfaser-Array erforderlich gewesen wäre.
Der eigentliche Vorteil eines Festplatten-Arrays liegt in der Datenbankarbeit, die durch eine große Anzahl kleiner, verstreuter E / A-Anforderungen gekennzeichnet ist. Bei dieser Art von Workload wird die Leistung durch die physische Latenz von Metallteilen auf der Festplatte eingeschränkt, die sich hin und her bewegen. Diese Metrik wird als IOPS (I / O-Operationen pro Sekunde) bezeichnet. Je mehr physische Festplatten Sie haben - unabhängig von der Kapazität - desto mehr IOPS können Sie theoretisch ausführen. Mehr IOPS bedeutet mehr Transaktionen pro Sekunde.
Datenintegrität
Darüber hinaus bieten die meisten RAID-Konfigurationen eine gewisse Datenredundanz - für die per Definition mehr als eine physische Festplatte erforderlich ist. Die Kombination eines Speicherschemas mit einer solchen Redundanz und einer größeren Anzahl von Laufwerken ermöglicht es einem System, eine große Transaktions-Workload zuverlässig zu bedienen.
Die Infrastruktur für Festplatten-Arrays (und SANs im Extremfall) ist nicht gerade ein Massenprodukt. Darüber hinaus ist es eines der Bits, die wirklich, wirklich nicht scheitern können. Diese Kombination aus Standardbauweise und kleineren Marktvolumina ist nicht billig.
Gesamtspeicherkosten einschließlich Backup
In der Praxis dürften die größten Kosten für die Wartung von 1 TB Daten die Sicherung und Wiederherstellung sein. Ein Bandlaufwerk und 34 Sätze SDLT- oder Ultrium-Bänder für einen vollständigen Zyklus der Sicherung und Wiederherstellung kosten wahrscheinlich mehr als ein 1-TB-Festplattenarray. Wenn Sie die Kosten für die externe Speicherung und das Gehalt eines einzelnen Bandaffen hinzufügen, ist Ihre Datenmenge von 1 TB plötzlich nicht mehr ganz so günstig.
Die Kosten für die Datenträger sind in der Hierarchie der dominanten Speicherkosten häufig angemessen. Bei einer Bank, bei der ich Gelegenheit hatte, für SAN-Speicher zu arbeiten, kostete ein Entwicklungssystem 900 GBP / GB und eine Festplatte auf einem Produktionsserver 5.000 GBP / GB. Die physischen Kosten der Festplatten betrugen selbst zu Preisen von Unternehmensanbietern nur einen winzigen Bruchteil davon. Ein anderes Beispiel, das mir bekannt ist, hat ein (relativ) bescheiden konfiguriertes IBM Shark SAN, das sie mehr als 1 Million Pfund gekostet hat. Lediglich der physische Speicher wird mit etwa 9 GBP / Gigabyte oder etwa 9.000 GBP für Speicherplatz berechnet, der Ihrer 1-TB-Consumer-Festplatte entspricht.