Lösung zum Speichern von 10 TB / Monat

Ich arbeite bei einer kleinen TV-Firma. Sie generieren 11 TB Videodateien pro Monat.

Was kann ich machen?. Ich brauche nur normale SATA-Festplatten in RAID. Welche Lösung soll ich kaufen?

(Sie verwenden viel Iomega NAS)

Hmmm

"Expanded ad-infinitum" macht mir Angst. Brauchen Sie wirklich jede Sekunde Film online und dann? Können Sie Tiered Storage in Betracht ziehen? Schnelle Speicherung für aktuelle / häufig verwendete Inhalte; langsamer Speicher mit höherer Kapazität für Dinge, die Sie zur Hand haben , aber nicht genau dort mit den Fingern schnippen; und zuletzt Band oder ähnliches, um alte Daten zu archivieren?

Wie sehen Ihre Budgets für die tatsächlichen Optionen aus? Ich werde Produkte aus der Dell-Reihe vorschlagen, da ich damit am besten vertraut bin, aber alle Top-Server-Anbieter haben ihre eigenen Produkte an denselben Punkten, aber ich bin mit diesen nicht so vertraut, und Sie benötigen Rat , keine lange Liste von Antriebsmodellen.

Ich mag die Equallogic- Reihe von SAN-Geräten von Dell , wenn Sie diese Daten über mehr als einen Server veröffentlichen möchten. Sie bieten eine Reihe von Optionen, die Ihnen eine schnelle Speicherebene und eine langsamere Ebene mit höherer Kapazität bieten. Natürlich können Sie auch eine kaufen Bandbibliothek beliebiger Größe von Dell auch für die Archivierungsebene.

Wenn Sie dieses Material nur über einen Server veröffentlichen möchten, sollten Sie die direkt angehängte Speicheroption in Betracht ziehen - Festplattenbänke, die an einen Server angeschlossen werden können. Ich weiß wieder aus der Dell-Reihe, dass Sie über die PowerVault- Reihe sprechen würden

Wie ich bereits sagte, schlage ich nicht vor, dass Sie Dell kaufen müssen, ich arbeite nicht für sie und ich werde nicht für sie shillen - es ist nur so, dass wir viele ihrer Sachen verwenden und ich weiß es ziemlich gut. Sie können sich HP, Sun / Oracle und IBM ansehen, und alle haben ähnliche Produktpaletten auf derselben Ebene, und es gibt viele Unternehmen, die sich ebenfalls auf Speicher spezialisiert haben. Aber die Datennutzung wachsen zu lassen, ohne sie so zu verwalten, ist ein Rezept für eine Katastrophe imho.

Ich weiß, dass Ihnen wahrscheinlich gesagt wird, dass sie alles brauchen, was sofort verfügbar ist, und dass Sie dies billig tun müssen, ich verstehe den Druck. Wenn Sie jedoch versuchen, solche Daten ohne eine Verwaltungsstrategie zu verwalten, müssen Sie nach dem Mond auf einem Stick fragen, und das funktioniert einfach nicht.

Ich arbeite für eine Rundfunkgesellschaft und wir werden monatlich VIELE Video- / Audiodaten generieren. Unsere Lösung war 2 Hitachi SAN, eines schneller (FC) und eines langsamer (SATA) mit viel Cache (256 GB Cache). Wir erwarten, dass es in 3 Jahren erschöpft sein wird. Ja, HD-Video ist eine Schlampe.

Wir haben ein Managementsystem in Arbeit, das sich mit allen Inhalten befasst und sie vom schnelleren Speicher (online) zum langsameren Speicher (Near Line) verschiebt und schließlich auf Band archiviert (es sind viele Metadaten zu schnell und zu schnell erforderlich) den Inhalt später leicht im Archiv finden). Wir haben eine (erweiterbare) 1000 LTO 4-Bandbibliothek zur Archivierung.

Das ist eine Sache, die Sie beachten sollten. Sie brauchen wirklich nur schnellen Zugriff / Speicherplatz zu einer bestimmten Zeit Ihrer Programmierung. Sagen wir, der letzte Monat. Das sind Rohmaterial von Nachrichtenteams, aufgenommenen Studio-Programmen, Live-Show-Aufnahmen sowie externen Produktionen (syndizierte Inhalte, Anzeigen usw.). Dies ist der Inhalt, der für die Wiedergabe und Bearbeitung verwendet wird und für den ein schneller Zugriff erforderlich ist (z. B. SAN, das mit MACs verbunden ist, auf denen die Bearbeitung durchgeführt wird).

Nachdem das Material ausgestrahlt wurde, können (und sollten) Sie es in eine Sammlung / ein Archiv verschieben (Sie kennen den richtigen Begriff auf Englisch nicht), wahrscheinlich auf Band. Wenn eine bestimmte Nachricht, Sendung oder Programmierung später benötigt wird, injizieren Sie sie zur Verwendung erneut in den schnelleren Speicher und entfernen Sie sie, nachdem alles erledigt ist.

Hoffe meine persönliche Erfahrung hilft.

Wenn Sie nach einer kommerziellen Lösung suchen, ist Isilon eine der billigeren Lösungen auf dem Markt und sollte Ihren Anforderungen problemlos entsprechen. Ihr Produkt ist eine Clustering-Lösung. Sie erstellen einen Speichercluster aus mehr als 3 Knoten. Jeder Knoten enthält eine Reihe von Festplatten, und die Fehlertoleranz kann so angepasst werden, dass Sie einen Knoten und / oder mehrere Festplatten verlieren und weiterhin betriebsbereit sind. Sie erweitern einfach, indem Sie den vorhandenen Knoten einen neuen Knoten oder ein externes Festplattenpaket hinzufügen. Sehr einfach und leicht zu bearbeiten.

Danach würde ich NetApp als Zweitplatzierten betrachten. Sie sind etwas teurer, aber ihre Produkte bieten mehr Funktionen und Leistung als Isilon.

Ich gehe davon aus, dass dies Videodaten sind, was bedeutet, dass Sie durch Komprimierung und Deduplizierung nichts gewinnen. Ich gehe auch davon aus, dass Sie entschieden haben, dass die großen, kugelsicheren kommerziellen SAN / NAS-Anbieter zu teuer sind. Wenn alles online und im schnellen LAN sein muss (und nicht in einem Cloud-Dienst, den Sie sich vermutlich angesehen haben):

Ihre kostengünstigste Option ist dieses SuperMicro-Festplattengehäuse mit 45 Einschüben und 3-TB-Laufwerken. Das sind 135 TB roh in 4U und <1500 Watt. Sie können bei Bedarf ähnliche Produkte kaufen und diese bei Bedarf zu vorhandenen Dateiserver-Frontends hinzufügen. RAID 6 über gute LSI-Hardware-Controller anstelle von Software, wenn Sie es sich leisten können - lesen Sie das "RAID 5-Schreibloch" und haben Sie Angst vor Software-Paritäts-Raid.

Wenn sich die Speicherdichte verbessert, können Sie Daten von älteren Speicherboxen auf neuere migrieren, wodurch Ihr Server-Footprint langfristig ziemlich konstant bleibt. Verwenden Sie Band- oder Wechseldatenträger für die externe Speicherung, da dies die einzige kostengünstige Möglichkeit ist, so viele Daten zu sichern.

Sie kaufen ungefähr alle sechs Monate eine 135-TB-Einheit (mit Laufwerken), die den RAID- und Dateisystem-Overhead berücksichtigt. Hin und wieder benötigen Sie auch einen zusätzlichen Front-End-Dateiserver. Sie können sie alle rund um die Uhr mit Strom versorgen und kühlen, ausgefallene Laufwerke ersetzen und Ihre eigene Verwaltungssoftware rollen. Vielleicht können Sie OpenStack verwenden, um Ihren eigenen internen Cloud-Speicher auf diesen Boxen zu erstellen, oder Sie können gefährlich leben und alles auf einigen Open-Source-Cluster-Dateisystemen riskieren. Sie werden wahrscheinlich zwei oder mehr Vollzeitstellen benötigen, die all diese Dinge verwalten.

Die Wolke sieht immer besser aus, nicht wahr? Wenn die Daten lokal und online sein müssen, würde ich mich ernsthaft mit der Datenreduzierung befassen. Nach etwa einem Monat sollten Sie alle Ihre Streams (vermutlich MPEG-2-Broadcast) mit einer viel niedrigeren Bitrate in VBR H.264-Video umcodieren . X264 mit '--crf 23' ist nahezu transparent und die Hälfte oder weniger der Bitrate der meisten MPEG2-Broadcast-Streams. Wenn die Kosten angezeigt werden, wird das Management vermutlich einfach mit Daten leben, die älter als X Tage sind und auf Wechseldatenträgern oder -bändern offline sind.

Wenn Sie die Zeit haben, selbst etwas einzurichten, haben die Mitarbeiter von Backblaze eine gute Beschreibung, wie sie ihre Speicher-Pods erstellen: http://blog.backblaze.com/2009/09/01/petabytes-on-a -budget-wie-man-billigen-Cloud-Speicher baut /

Check GlusterFS : Erweiterbarkeit um viele Petabyte, niedrige Kosten pro Gigabyte, Verwaltungskonsole, Appliance-ähnliche Speicherbausteine, konfigurierbare Replikationsstufe, so schnell Ihr Netzwerk dies zulässt, Open Source usw. Die gesamte Enchilada.