Wie ändern sich die Speicher-IOPS als Reaktion auf die Festplattenkapazität?

Wie würde sich die IOPS-Leistung eines Speicher-Arrays ändern, wenn größere Festplatten verwendet würden?

Nehmen Sie zum Beispiel ein Array mit 10 x 100 GB Festplatten.

Messen Sie IOPS für sequentielle 256-KB-Blockschreibvorgänge (oder eine beliebige IOPS-Metrik).

Angenommen, der resultierende gemessene IOPS ist 1000 IOPS.

Tauschen Sie das Array gegen ein Array mit 10 x 200-GB-Festplatten aus. Formatieren mit derselben RAID-Konfiguration, derselben Blockgröße usw.

Würde man erwarten, dass der IOPS gleich bleibt, zunimmt oder abnimmt? Wäre die Änderung ungefähr linear? dh um das Zweifache erhöhen oder um das Zweifache verringern (da ich die Festplattenkapazität um das Zweifache erhöht habe)

Wiederholen Sie diese Fragen mit 10 x 50-GB-Festplatten.

Bearbeiten: Mehr Kontext

Diese Frage ergab sich aus einem Gespräch zwischen meinem Sysadmin-Team, das sich nicht in allen Fragen des Speichers auskennt. (Bequem mit vielen Aspekten des Speichers, aber nicht mit den Details der Verwaltung eines SAN oder was auch immer). Wir erhalten einen großen Stapel neuer Netapp-Fächer mit einer höheren Festplattenkapazität pro Festplatte (doppelte Kapazität) als unsere vorhandenen Fächer. Der Kommentar kam auf, dass der IOPS der neuen Fächer niedriger sein würde, nur weil die Festplatten größer waren. Dann kam eine Auto-Analogie auf, um dies zu erklären. Keiner der beiden Kommentare passte gut zu mir und so wollte ich es The Team, dh Stack-Exchange-Land, zeigen.

Die Auto-Analogie handelte von zwei Autos mit unterschiedlicher Beschleunigung, gleicher Höchstgeschwindigkeit und einer Laufleistung von einer Viertelmeile. Ändern Sie dann die Entfernung auf eine halbe Meile. Eigentlich kann ich mich nicht an die genaue Analogie erinnern, aber da ich im Interwebz eine andere gefunden habe, die ähnlich war, dachte ich, dass es wahrscheinlich eine übliche IOPS-Analogie war.

In gewisser Weise ist die tatsächliche Antwort auf die Frage für mich nicht so wichtig, da wir diese Informationen nicht zur Bewertung eines Kaufs verwenden. Wir müssen jedoch prüfen, wie die Schalen am besten an einem vorhandenen Kopf befestigt werden können und wie Aggregate und Volumina am besten herausgearbeitet werden können.

Um Ihre Frage direkt zu beantworten - alle anderen Dinge sind gleich = keine Änderung, wenn GB sich ändert.

Sie messen IOPS nicht mit GB. Sie verwenden die Suchzeit und die Latenz.

Ich könnte alles hier neu schreiben, aber diese Beispiele unten machen das alles schon und ich würde es einfach wiederholen:

https://ryanfrantz.com/posts/calculating-disk-iops.html

http://www.big-data-storage.co.uk/how-to-calculate-iops/

http://www.wmarow.com/strcalc/

http://www.thecloudcalculator.com/calculators/disk-raid-and-iops.html

Ich weiß, dass dies wahrscheinlich eine hypothetische Frage ist. Aber die IT-Welt funktioniert nicht so. Es sind realistische Einschränkungen zu berücksichtigen sowie andere Faktoren, die IOPS beeinflussen können ...

• 50 GB- und 100 GB-Festplatten gibt es nicht mehr. Denken Sie mehr darüber nach: 72, 146, 300, 450, 600, 900, 1200 GB in Enterprise-Festplatten und 500, 1000, 2000, 3000, 4000, 6000 GB in Nearline- / Midline-Massenspeichermedien.

• In der modernen Lagerung steckt so viel Abstraktion; Festplatten-Caching, Controller-Caching, SSD-Offload usw., bei denen Unterschiede nur schwer zu erkennen sind.

• Sie müssen unterschiedliche Antriebsformfaktoren, Schnittstellen und Drehzahlen berücksichtigen. SATA-Festplatten haben ein anderes Leistungsprofil als SAS- oder Nearline-SAS-Festplatten . 7.200 U / min-Datenträger verhalten sich anders als 10.000 U / min oder 15.000 U / min. Und die Verfügbarkeit der verschiedenen Drehzahlen ist auf bestimmte Leistungen begrenzt.

• Layout des physischen Controllers. SAS-Expander, RAID / SAS-Controller können abhängig vom Festplattenlayout und den Überbelegungsraten die IOPS beeinflussen, unabhängig davon, ob die Konnektivität innerhalb des Servers oder in einem externen Gehäuse erfolgt. Eine große Anzahl von SATA-Festplatten arbeitet bei Erweiterungen und Laufwerksfehlern schlecht .

• Ein Teil davon kann durch Fragmentierung und Auslastung des Festplatten-Arrays beeinflusst werden.

• Schon mal was von Kurzstreicheln gehört ?

• Software versus Hardware-RAID, Prefetching, adaptives Profiling ...

Was lässt Sie vermuten, dass sich Kapazität überhaupt auf die Leistung auswirken würde ? Können Sie mehr Kontext bereitstellen?

Bearbeiten:

Wenn der Festplattentyp, der Formfaktor, die Schnittstelle und die verwendete Kapazität gleich sind, sollte es keinen nennenswerten Unterschied bei IOPS geben. Angenommen, Sie haben von 300 GB auf 600 GB Enterprise SAS 10k-Festplatten gewechselt. Bei gleicher Spindelzahl sollten Sie keinen Leistungsunterschied feststellen ...

Wenn in den von Ihnen genannten NetApp-Festplattenregalen SAS-Backplanes mit 6 Gbit / s oder 12 Gbit / s verwendet werden, kann sich der Durchsatz bei neueren Geräten ändern.

Ein Ort , wo es ist eine direkte Beziehung zwischen Plattengröße und IOPS ist in dem Amazon AWS - Cloud und anderen „wolkige Diensten“. Zwei Arten von AWS-Diensten ( Elastic Block Store und Relational Database Service ) bieten höhere IOPS für größere Datenträgergrößen.

Beachten Sie, dass dies eine künstliche Einschränkung ist, die von Amazon für deren Dienste festgelegt wurde. Es gibt keinen hardwarebezogenen Grund dafür. Ich habe jedoch Entwickler gesehen , die mit nicht virtualisierter Hardware nicht vertraut sind und diese Einschränkung auch für Desktop-Systeme und ähnliches für angemessen halten. Die Beziehung zwischen Festplattengröße und IOPS ist eine Cloud-Marketing-Einschränkung, keine Hardware-Einschränkung.

Ich möchte darauf hinweisen, dass IOPS kein hervorragendes Maß für die Geschwindigkeit bei sequenziellen Schreibvorgängen ist.

Ich vermute, dass die Such- und Schreibzeiten von Plattenköpfen trotz der Größe der Platten ziemlich konsistent sind. Vor 20 Jahren haben wir alle 60-GB-Festplatten mit (ungefähr - sicherlich nicht linear) den gleichen Lese- / Schreibgeschwindigkeiten verwendet.

Ich mache eine fundierte Vermutung, aber ich glaube nicht, dass die Dichte der Festplatte linear mit der Leistung der Festplatte zusammenhängt.

Nehmen Sie zum Beispiel ein Array mit 10 x 100 GB Festplatten.

Messen Sie IOPS für sequentielle 256-KB-Blockschreibvorgänge (oder eine beliebige IOPS-Metrik).

Angenommen, der resultierende gemessene IOPS ist 1000 IOPS.

in Ordnung

Tauschen Sie das Array gegen ein Array mit 10 x 200-GB-Festplatten aus. Formatieren mit derselben RAID-Konfiguration, derselben Blockgröße usw.

Würde man erwarten, dass der IOPS gleich bleibt, zunimmt oder abnimmt?

Wahrscheinlich bleiben sie in etwa gleichwertig.

Wäre die Änderung ungefähr linear?

Die Geschichte der sich drehenden Medien sagt mir, dass es wahrscheinlich keine Beziehung gibt.

Wiederholen Sie diese Fragen mit 10 x 50-GB-Festplatten

Wieder ungefähr gleichwertig.

Ihre Geschwindigkeit ergibt sich in all diesen Fällen aus der Tatsache, dass das RAID wie eine einzelne Festplatte mit zehn Schreibköpfen funktioniert, sodass Sie 1/10 der Arbeit parallel an jede Festplatte senden können.

Ich kann Ihnen zwar keine genauen Zahlen vorlegen, aber meine bisherigen Erfahrungen haben gezeigt, dass es nicht so einfach ist, die Leistung Ihrer Festplatten zu steigern, als mehr Kapazität zu erhalten.

Ungeachtet dessen, was die Marketingleute als Innovation bezeichnen, hat sich die Leistung von Spinnmedien in den letzten 20 Jahren vor dem Start billiger (er) Solid-State-Disks kaum merklich entwickelt, vermutlich gibt es nur so viel, was man nicht rosten kann und nur so schnell können wir unsere aktuellen Modelle von Plattenköpfen zum Laufen bringen.

Die Leistung, die mit jeder hinzugefügten Spindel zu den Speicherskalen hinzugefügt wird. Die Drehzahl des Laufwerks ist der größte Faktor. Wenn Sie also ein Laufwerk mit 10.000 U / min hinzufügen, erhalten Sie mehr Leistung (in Form von E / A in zufälligen E / A oder MB / s in Streaming-E / A) als ein Laufwerk mit 7,2.000 U / min. Die Größe des Laufwerks hat praktisch keinen Einfluss.

Kleinere Laufwerke werden als schneller eingestuft, weil Sie pro verwendbarem TB mehr Spindeln benötigen. Durch Erhöhen der Laufwerkgröße dieser Spindeln wird die Leistung nicht beeinträchtigt, Sie können jedoch mehr Daten auf die Datenträger packen, was zu einer erhöhten Arbeitslast führen kann.

Wenn Sie davon ausgehen, dass alles andere gleich ist, ändern sich die Leistungseigenschaften von Festplatten mit größerer Kapazität nicht wesentlich. Ein 10K RPM FC-Laufwerk weist sehr ähnliche Eigenschaften auf, unabhängig davon, ob es sich um 300 GB oder 3 TB handelt. Die Platten drehen sich mit der gleichen Geschwindigkeit und die Köpfe suchen mit der gleichen Geschwindigkeit.

Nachhaltiger Durchsatz ebenfalls - kein großer Unterschied. Dies ist die Wurzel vieler Leistungsprobleme, obwohl die Leute in vielen Fällen Terabytes kaufen und keine IOPs oder MB / Sek. Kaufen.

Und es dauert 10x so lange, um ein 3-TB-Laufwerk als 300-GB-Laufwerk wiederherzustellen / zu kopieren.

Infolgedessen mussten wir tatsächlich erhebliche Überkapazitäten für Speicherprojekte in Betracht ziehen - die Laufwerksgrößen nehmen immer noch zu, aber ihre Leistungsfähigkeit ist nicht sehr hoch. In mindestens einem Fall haben wir ca. 400 TB Speicher gekauft, um eine 100-TB-Anforderung zu erfüllen, da wir die Spindeln benötigen.

Wenn Sie Festplatten (nicht SSD) drehen, ist die Übertragungsgeschwindigkeit höher, wenn Sie die äußeren Spuren der Festplatte verwenden. Dies würde automatisch passieren, wenn Sie eine Festplatte verwenden, die nur teilweise gefüllt ist. Wenn eine Festplatte nur teilweise gefüllt ist, ist die durchschnittliche Kopfbewegung geringer und die Anzahl der Kopfbewegungen geringer, da pro Spur mehr Daten vorhanden sind.

Dies gilt unabhängig davon, ob Sie eine einzelne Festplatte oder ein RAID-Laufwerk verwenden.

Wenn Sie nun Festplatten mit 100 GB und 2000 GB vergleichen, können Sie sicher sein, dass alles andere nicht gleich ist. Wenn derselbe Hersteller jedoch 500 GB-, 1 TB-, 1,5 TB- und 2 TB-Laufwerke mit einer, zwei, drei und vier Platten anbietet, ist wahrscheinlich alles andere gleich, und 10 x 500 GB sind langsamer als 10 x 2 TB, um 4 TB an Daten zu speichern (Es gibt keinen Unterschied, wenn Sie nur 100 GB speichern, da die 500 GB-Laufwerke auch fast leer sind.)

Bei RAID-Laufwerken sind Sie jedoch nicht so sehr durch die Übertragungsgeschwindigkeit, sondern durch die Rotationslatenz eingeschränkt. Eine höhere Drehzahl ist also wichtiger. Und Sie werden oft höhere Drehzahlen bei geringerer Kapazität vorfinden. Auf der anderen Seite, wenn Sie mit hoher Drehzahl / geringer Kapazität unterwegs sind, sollten Sie sich auch SSD-Laufwerke ansehen.