Ich habe 40 Jahre Erfahrung in der Datenverarbeitung, aber ich musste noch nie einen Server wie diesen bauen, daher könnte dies eine n00b-Frage sein.
Ich habe einen Client, der ultrahochauflösende Musikdateien zum Download anbieten wird. In diesem Fall bedeutet das FLAC-komprimierte 24 / 192Khz = ~ 10GB / Album. (Nein, ich möchte nicht die Erwünschtheit des Produkts diskutieren, sondern nur die Serverkonfiguration.) Der Katalog wird etwa 3.000 Alben umfassen, wobei sowohl Ultra-High- als auch Low-Def-Versionen (für ihre iPods, denke ich) enthalten sind 35-40 TB oder so an Primärdaten.
Da es sich um ein sehr spezialisiertes Produkt handelt, ist die Marktgröße relativ gering (denken Sie: Leute, die mehr als 20.000 US-Dollar für ihre Audiosysteme ausgeben), was bedeutet, dass der Server die meiste Zeit zu 100% im Leerlauf (oder in der Nähe davon) ist. Ich habe so etwas wie ein gutes Colocation-Angebot von ColocationAmerica mit einer 1-Gbit / s-Verbindung und einer Bandbreite von etwa 20 USD / TB. Jetzt muss ich nur noch eine Box bauen, um die Waren zu liefern.
Der Anwendungsfall für den Datenzugriff ist "Write-Once / Read-Many". Daher denke ich daran, nur Software-RAID 1 für Laufwerkspaare zu verwenden. Dies würde es mir ( glaube ich ) ermöglichen, Reservelaufwerke für ausgefallene on-the-fly neu zu konfigurieren und so den Neuaufbau des zweiten Laufwerks zu starten, bevor ein Sysadmin das rote Licht auf dem System bemerkt (sie tauschen kostenlos aus). Es wäre großartig, wenn ich die meisten Laufwerke in den Energiesparmodus versetzen könnte, wenn sie nicht benötigt werden. Dies ist für die meisten Laufwerke die meiste Zeit der Fall.
Ich brauche nicht viel Rechenleistung - dieses Ding schiebt nur fette Gegenstände in die Leitung - und so kann die CPU / Hauptplatine ziemlich bescheiden sein, solange sie diese Anzahl von Laufwerken unterstützt.
Ich überlege gerade folgende Konfiguration:
Chasis: Supermicro CSE-847E26-RJBOD1
Drives: 30 4TB SAS drives (Seagate ST4000NM0023 ?)
MB: SUPERMICRO MBD-X10SAE-O w/ 8GB
CPU: Xeon E3-1220V3 3.1GHz LGA 1150 80W Quad-Core Server
Gehe ich also in die richtige Richtung oder ist dies eine völlig neue Art, das Problem anzugehen?
Aktualisieren Sie, um einige Punkte zu klären:
- Ich habe keine Erfahrung mit ZFS, da das letzte Sun-Produkt, das ich besaß, Ende der 80er Jahre war. Ich werde ein wenig RTFMing machen, um zu sehen, ob es sich richtig anfühlt.
- Ich brauche das Dateisystem nicht wirklich, um etwas Spektakuläres zu tun, da die Dateinamen einfache UUIDs sein werden und die Objekte über die Laufwerke verteilt werden (eine Art großes Caching-System). Ich habe diese Dateien wirklich als 40 separate Dateisysteme betrachtet, und dadurch klang RAID 1 ungefähr richtig (aber ich gebe hier Unwissenheit zu).
- Da wir derzeit davon ausgehen, dass wir wahrscheinlich nicht mehr als ein paar Dutzend Dateien gleichzeitig herunterladen werden und in den meisten Fällen genau eine Person eine bestimmte Datei herunterladen wird, weiß ich nicht, ob wir Tonnen von Speicher benötigen für Puffer. Vielleicht sind 8 GB ein bisschen leicht, aber ich glaube nicht, dass 128 GB mehr bewirken, als Energie zu verbrauchen.
- Es gibt 2 separate Maschinen hier nicht erwähnt: ihr aktueller Web - Shop und ein fast vollständig entkoppelt herunterladen Master dass Griffe alle Authentifizierung, neue Produkt - Ingest - Management, Policy Enforcement (immerhin dies ist die Spielplatz der RIAA), kurzlebige URL Schöpfung (und möglicherweise Weitergabe von Downloads an mehr als eine dieser Bestien, wenn der Datenverkehr unsere Erwartungen übertrifft), Nutzungsverfolgung und Berichterstellung. Das heißt, diese Maschine könnte fast mit Rennmäusen auf Quaaludes gebaut werden.
ZFS? Wo ist der Nutzen?
OK, ich arbeite mich durch mehrere ZFS-Anleitungen, häufig gestellte Fragen usw. Verzeihen Sie, dass ich dumm klinge, aber ich versuche wirklich zu verstehen, welche Vorteile die Verwendung von ZFS gegenüber meiner antidiluvianischen Vorstellung von N RAID1-Paaren hat. Auf dieser Best Practices- Seite (ab 2006) schlagen sie sogar vor, kein 48-Geräte-ZFS, sondern 24 2-Geräte-Spiegel zu verwenden - das klingt nach dem, worüber ich gesprochen habe. Andere Seiten erwähnen die Anzahl der Geräte, auf die zugegriffen werden muss, um 1 (einen) ZFS-Block zu liefern. Denken Sie auch daran, dass bei 10 GB pro Objekt und einer Festplattenauslastung von 80% insgesamt 320 Dateien pro 4-TB-Laufwerk gespeichert werden . Die Neuerstellungszeit mit N RAID 1-Computern für einen bestimmten Laufwerksfehler beträgt 4 TB Schreibzugriff von einem Gerät auf ein anderes.Wie verbessert ZFS das?
Ich gebe zu, ein Dinosaurier zu sein, aber die Festplatte ist billig, RAID 1 Ich verstehe, meine Dateiverwaltungsanforderungen sind trivial, und ZFS unter Linux (mein bevorzugtes Betriebssystem) ist noch recht jung. Vielleicht bin ich zu konservativ, aber wenn ich mir ein Produktionssystem anschaue, rolle ich so.
Ich danke Ihnen allen für Ihre Kommentare, die mich zum Nachdenken gebracht haben. Ich bin immer noch nicht vollständig entschieden und muss möglicherweise zurückkommen, um weitere n00b-Fragen zu stellen.