Es gibt viele Möglichkeiten, mit Daten dieser Größe umzugehen. Vieles hängt von Ihrer Umgebung ab und davon, wie viel Geld Sie ausgeben möchten. Im Allgemeinen gibt es einige allgemeine Strategien zum Abrufen der Daten vom Server:
- Über das Ethernet Wie auf der Verpackung angegeben, werden Daten zur Verarbeitung an Some Where Else gestreamt. Das Kopieren von 20 TB über 1 GbE dauert lange, ist jedoch möglich. Hardware kann Abhilfe schaffen (z. B. 10-GbE-Verbindungen oder in einigen Fällen NIC-Bonding).
- Über das Speichersubsystem Wenn Sie sich in Fibre Channel befinden, senden Sie es an ein anderes Gerät im FC-Netzwerk. Wenn Sie über SAS verfügen, senden Sie es an ein an SAS angeschlossenes Gerät. Im Allgemeinen schneller als Ethernet.
- Senden Sie es an ein anderes Festplatten-Array. Senden Sie es an einen anderen Speicherblock, der an denselben Server angeschlossen ist.
Das ist die 100 km-Ansicht. Sobald Sie anfangen zu zoomen, werden die Dinge viel fragmentierter. Wie bereits erwähnt, handelt es sich bei LTO5 um eine spezielle Bandtechnologie, die für diese Art von Lasten mit hoher Dichte entwickelt wurde. Ein anderes identisches Speicherarray ist ein gutes Ziel, insbesondere wenn Sie GlusterFS oder DRBD verwenden können, um die Daten dort abzurufen. Auch, wenn Sie ein Backup benötigen Rotation oder einfach nur die Fähigkeit zu halten für den Fall , läuft das Array ausfällt beeinflussen , was Sie an ihren Platz setzen.
Sobald Sie sich für eine 100-km-Ansicht entschieden haben, wird der Einstieg in die Software die nächste große Aufgabe sein. Faktoren, die dies beeinflussen, sind, was Sie in erster Linie auf Ihrem Speicherserver installieren können (wenn es sich um eine NetApp handelt, ist dies eine Sache, ein Linux-Server mit einem Haufen Speicher ist eine andere Sache, ebenso wie ein Windows-Server mit einem Haufen Speicher). , welche Hardware Sie auswählen (nicht alle FOSS-Backup-Pakete können beispielsweise mit Bandbibliotheken gut umgehen) und welche Art von Backup-Speicherung Sie benötigen.
Sie müssen wirklich herausfinden, welche Art von Disaster Recovery Sie möchten. Die einfache Live-Replikation ist einfacher, ermöglicht jedoch keine Wiederherstellung ab der letzten Woche. Wenn die Fähigkeit zur Wiederherstellung aus der letzten Woche für Sie wichtig ist, müssen Sie für diese Art von Dingen entwerfen. Laut Gesetz (in den USA und anderswo) müssen einige Daten über einen Zeitraum von mindestens 7 Jahren aufbewahrt werden.
Einfache Replikation ist am einfachsten. Dafür wurde DRBD entwickelt. Sobald die Erstkopie fertig ist, werden nur noch Änderungen gesendet. Komplizierende Faktoren sind hier die Netzwerklokalität, wenn sich Ihr zweites Array nicht in der Nähe des primären DRBD befindet. Sie benötigen einen zweiten Speicherserver mit mindestens so viel Speicherplatz wie der erste.
Informationen zur Bandsicherung ...
LTO5 kann 1,5 TB Daten ohne Komprimierung speichern. Das Füttern dieser Monster erfordert ein sehr schnelles Netzwerk, entweder Fibre Channel oder 6-Gbit-SAS. Da Sie im Notfall mehr als 1,5 TB sichern müssen, müssen Sie sich mit Autoloadern befassen (hier ein Beispiel: Link , ein 24-Slot-Autoloader mit 1 Laufwerk von HP). Mit einer Software, die sie unterstützt, können sie das Wechseln von Bändern während des Backups für Sie erledigen. Sie sind großartig. Sie müssen immer noch Bänder herausziehen, um sie an einen anderen Ort zu senden, aber das ist ein verdammter Anblick, als die ganze Nacht herumzuhängen, um Bänder selbst zu laden, wenn das Backup dies erfordert.
Wenn das Band Ihnen das " Vermächtnis " verleiht, ist eine virtuelle Bandbibliothek möglicherweise schneller (wie diese von Quantum: Link ). Diese geben vor, Bandbibliotheken für Sicherungssoftware zu sein, während sie mithilfe robuster (Sie hoffen) Deduplizierungstechniken tatsächlich auf der Festplatte gespeichert werden. Die schickeren kopieren sogar virtuelle Bänder für Sie auf reale Bänder, wenn Sie so etwas mögen, was für Rotationen außerhalb des Standorts sehr praktisch sein kann.
Wenn Sie nicht einmal mit virtuellen Bändern herumalbern, sondern dennoch Backups direkt auf der Festplatte durchführen möchten, benötigen Sie ein Speicher-Array, das groß genug ist, um diese 20 TB zu bewältigen, sowie jede Menge Daten, die Sie benötigen im Griff behalten. Verschiedene Backup-Pakete behandeln dies unterschiedlich. Einige Deduplizierungstechnologien sind wirklich nett, andere sind hacky kludges. Ich persönlich kenne den Stand der FOSS Backup-Softwarepakete in diesem Bereich nicht (ich habe von Bacula gehört), aber sie könnten ausreichend sein. In vielen kommerziellen Sicherungspaketen müssen lokale Agenten auf Servern installiert werden, die gesichert werden sollen, um den Durchsatz zu erhöhen. Dies hat viele Vorteile.