Wie wird die Festplattengeschwindigkeit gemessen und was ist schnell? Wie lange sollte eine Kopie von 1500 GB dauern?

Wie wird die Festplattengeschwindigkeit gemessen? Ist es Mbit oder Mbyte pro Sekunde gelesen? Was ist heute durchschnittlich und was ist schnell und was ist in der Branche sehr schnell?

Nehmen wir an, jemand sagt, es dauert lange, eine Kopie einer Datei mit 1500 GB (z. B. einer Datenbankdatei) zu erstellen. Wie lange würde dies auf einem professionellen System dauern und wie kann dies unter Berücksichtigung der Geschwindigkeit der Festplatte berechnet werden? ?

Die Festplattengeschwindigkeiten werden normalerweise in gemessen.

• Drehzahl in Umdrehungen pro Minute (niedrigste bei 4200 U / min, dann 5400, 7200, 10k und 15k - dies gilt nicht für SSDs oder Flash-Speicher).
• Die Schnittstellengeschwindigkeit ist die schnellste, die eine Festplattenelektronik versuchen kann, die Daten an den Festplattencontroller zu senden (diese reichen von 100 MBit / s von ATA über 150/300/600 Mbit / s von SATA, 2/4/8/16 Gbit / s von Fibre-Channel bis hin zu PCIe-Geschwindigkeiten für Flash-basierter Speicher wie FusionIO).
• Die Suchzeit ist einfach die Zeit, die benötigt wird, um mit dem Lesen oder Schreiben eines bestimmten Festplattensektors zu beginnen. Diese Zeit kann von 3 bis 15 ms für Festplatten bis zu einem kleinen Bruchteil davon für SSD- / Flash-Festplatten reichen.
• Dann erreichen wir die tatsächliche Geschwindigkeit, die Sie erwarten können. Es gibt vier Geschwindigkeiten, die Sie interessieren sollten. sequentielles Lesen (Lesen eines sehr großen Datenblocks), sequentielles Schreiben (gleich, aber Schreiben), zufälliges Lesen (Abrufen von Daten von der gesamten Festplatte) und zufälliges Schreiben. Diese variieren enorm, aber für sich drehende Festplatten können Sie zwischen 25 MBit / s und 150 MBit / s für sequentielles Lesen und Schreiben und zwischen 3 MBit / s und 50 MBit / s für zufälliges Lesen und Schreiben erwarten. SSDs liegen normalerweise im Bereich von 200 MBit / s für sequentielle Operationen und normalerweise etwas weniger für zufällige Operationen. FusionIO kann problemlos 1 GBit / s für alle erreichen, ist jedoch in der Regel klein und teuer.

Wie Sie sehen, gibt es keinen echten Durchschnitt. Wenn Sie Empfehlungen zum Kauf wünschen, können Sie sich gerne mit so vielen Informationen wie möglich an uns wenden. Dazu gehören Budget, Anwendungstyp, Datensatzgröße und Benutzerbasis , Hardware / Betriebssystem und alles andere, was Sie für nützlich halten.

Wenn Sie dies für eine 1,5-TB-Kopie auf einer USB-SATA-Festplatte mit 7200 U / min und 7200 U / min tun, sollten Sie mindestens 30 MBit / s bis 40 MBit / s erhalten. Die vollen 1,5 TB können ungefähr 10 Stunden dauern. Wenn dies ein typisches professionelles DAS / SAN-System wäre, würde ich im Bereich von 100 MBit / s erwarten, was bedeutet, dass es ungefähr 3 Stunden dauern würde.

Hoffe das hilft, oh und nur um zu verdeutlichen, MB = Megabyte, Mb ist Megabit.

Es gibt viele, viele Variablen, die an solchen Berechnungen beteiligt sind. Reale Festplattensysteme weisen viele Abhängigkeiten auf. Nur innerhalb eines einzelnen Computers:

• Tatsächliche Nenndrehzahl des Laufwerks selbst (im Allgemeinen die Drehzahlen 5200, 7200, 10K, 15K)
• Das verwendete Dateisystem
• Gibt an, ob ein RAID-System verwendet wird
  • Wenn ja, die Leistung der RAID-Karte
  • Die Art des RAID
• Das verwendete Betriebssystem
• Lese- und Schreibvorgänge weisen völlig unterschiedliche Leistungsmerkmale auf
• Das Lese- / Schreibverhältnis für Operationen
• Für sequentielle Operationen der Fragmentierungsfaktor der Speicherung

Wie Sie sehen können, ist die Geschwindigkeit einer Festplatte selbst nur einer von vielen Faktoren. Es ist ein großer Faktor, aber immer noch einer von vielen. Wenn sich diese 1,5-TB-Kopie alle auf derselben Festplatte befindet, führt die Festplatte (zu 95% wahrscheinlich) eine 100% ige zufällige Lese- / Schreibleistung aus, die im Allgemeinen die schlechtesten Leistungsmetriken liefert. Wenn die Kopie von einer Festplatte auf eine andere erfolgt und die Daten zu 100% sequentiell sind und die Zielfestplatte vollständig leer ist, sollte dies die schnellstmögliche Leistung mit diesem Festplattensubsystem erzielen. Die reale Leistung wird irgendwo zwischen diesen beiden Extremen liegen.

Wenn Sie zwischen zwei separaten Servern kopieren, sind noch mehr Faktoren beteiligt.

Ich habe ein Speicherarray im Einsatz, das 3-Gbit-SAS-Kanäle (GigaBIT) sättigen kann, wenn weitgehend sequentielle Vorgänge ausgeführt werden. Wenn ich 6 GB SAS hätte, könnte es wahrscheinlich auch sehr nahe daran sein, diese zu sättigen. Bei zufälligen E / A-Vorgängen arbeitet dieses spezielle System je nach Betriebssystem sehr unterschiedlich (OpenSolaris hatte beispielsweise die schlechtesten zufälligen E / A-Vorgänge und Linux XFS die besten um den Faktor 3).

Es gibt einfach zu viele Variablen, um diese Fragen endgültig zu beantworten.

Wie lange das Kopieren von 1,5 TB Daten dauert, hängt stark von der Art der Daten ab. Wenn Sie ein paar 1.500 1-GB-Dateien haben, wird es wahrscheinlich nur ein paar Stunden dauern, aber wenn Sie eineinhalb Milliarden 1-KB-Dateien haben, wird es wahrscheinlich Tage dauern.

Dies liegt an zwei konkurrierenden Spezifikationen auf Discs: dem Durchsatz und der durchschnittlichen Zugriffszeit. Eine herkömmliche Disc mit einem Durchsatz von 100 MB / s und einer Zugriffszeit von 10 ms ist ziemlich häufig. Wenn Sie Daten nacheinander streamen können, erhalten Sie 100 MB / s. Wenn Sie jedoch an einen anderen Ort springen müssen, dauert es 10 ms. Wenn Sie gestreamt hätten, hätten Sie in der Zeit, die erforderlich ist, um zu einem anderen Ort zu springen, 1 MB Daten schreiben können.

Das Erstellen einer Datei kann mehrere Suchvorgänge erfordern, sodass das Erstellen einer 1-KB-Datei genauso viel "kosten" kann wie das Streamen mehrerer MB Daten.

In einigen Fällen ist es daher besser, eine Raw-Disc-Kopie des Blockgeräts zu erstellen, als über etwas wie rsync im Dateisystem zu kopieren. Wenn Sie viele Dateien in einem Dateisystem haben, das beispielsweise zu 50% oder mehr voll ist, ist es oft besser, das Vollblockgerät so lange wie nötig über "dd" zu kopieren. Natürlich können Sie dies nicht tun, während das Dateisystem gemountet ist, daher hat dies auch Nachteile.

SSDs können Abhilfe schaffen, da ihre Zugriffszeiten etwa 100-mal so schnell sind. MLC-SSD-Laufwerke weisen jedoch je nach Verfügbarkeit eines Pools vorgelöschter Blöcke komplizierte Zugriffsprobleme auf. SLC-SSDs können dabei helfen.

RAID-Controller mit integriertem Cache können bei der Suche helfen, ebenso wie das Flashcache-Kernelmodul, mit dem Sie ein Blockgerät über eine SSD zwischenspeichern können.

RAID-Systeme können mehrere parallele Suchvorgänge ermöglichen, wodurch die durchschnittliche Zugriffszeit effektiv reduziert wird, und auch Parallelisierung, um den Durchsatz zu erhöhen. Ihre Gesamtleistung hängt jedoch häufig davon ab, wie viele Dateien betroffen sind.