Wie installieren Dienste mit hohen Aufnahmeraten genug Festplatten schnell genug?

Amazon, Facebook und Google müssen TBs berücksichtigen, wenn nicht PBs pro Tag. Das bedeutet, dass die Mitarbeiter ständig neue Festplatten und Kabel in neuen Racks installieren, so wie Sie einen regulären Server bauen oder eine andere Technologie verwenden zum massenhaften Anschließen von Antrieben?

Ich weiß nicht, ob einer von ihnen tatsächlich jeweils einen Hardware-Server installiert. Bereits 2008 begann MS mit dem Bau seiner Rechenzentren, indem Server in versiegelten und vorverdrahteten Versandbehältern geliefert wurden, die nur zum Entladen von einem LKW und zum Anschließen von Strom- / Netzwerkverbindungen benötigt wurden. Während die 08 baut eine Mischung von Containern und traditionell für ihr jüngstes war Rechenzentrum haben sie zu einem benutzerdefinierten Fertig Design gegangen , da dass die wetterfest und nicht in separaten Gebäuden untergebracht werden muß.

Sowohl HP als auch IBM verkaufen ähnliche Pakete mit vorgefertigten Containern voller Server, für deren Bereitstellung lediglich Strom- / Datenverbindungen erforderlich sind.

Google hat mehrere Technologien, die sie intern entwickelt haben, um diese riesigen Datenmengen zu speichern. Mit diesen Technologien können sie tatsächlich Lastwagenladungen von Festplatten in ihren Cluster aufnehmen, ohne dass es zu Ausfallzeiten kommt.

Soweit ich aus dem Google-Blog weiß, sind die beiden Hauptteile das Google-Dateisystem, ein verteiltes Dateisystem, das sich auf eine wirklich große Größe skalieren lässt: das Google-Dateisystem

Zusätzlich zum Google-Dateisystem gibt es Big Table, eine Art Key-Value-Datenbank, die sich auch zu riesigen Maßstäben hochskalieren lässt: Big Table

Um eine hohe Verfügbarkeit zu gewährleisten, ist alles mehrfach redundant, in den meisten Fällen mehr als dreimal.

Das ist genau richtig. Ich erinnere mich, dass Facebook-Rechenzentren früher durchschnittlich drei Sattelzugmaschinen mit Festplatten und Servern für die Rackmontage hinzufügten. Natürlich haben sie komplizierte Schemata, um Speicher skalierbar und redundant zu machen. Google hat zum Beispiel GFS . Facebook hat nur drei Rechenzentren für ihre Geräte, jedes größer als zwei Wal-Marts und ein neues, das viermal so groß geplant ist wie die vorhandenen.

Mit Open-Compute-Speicherlösungen der neuen Generation, die 180 TB Festplattenkapazität in 4 Rack-Einheiten bieten, ist ein PB nicht wirklich viel Platz: Wenn Sie 1 PB pro Tag hinzufügen, bedeutet dies, dass Sie 5 solcher Server pro Tag in ein Rack einbauen, was kein großes Problem darstellt. Besser noch, diese sind für ungefähr 10.000 USD erhältlich, was bedeutet, dass Sie weniger als 60 USD pro TB bezahlen.

Ja, die Technologie steht uns allen zur Verfügung, um das Gleiche zu einem Preis zu tun, der die Bank nicht bricht.

Sie müssen jedoch berücksichtigen, dass größere Unternehmen immer bessere Angebote erhalten und große Verträge abschließen, um große Mengen an Speicherplatz zu beschaffen. Sie können kleine Sendungen erhalten, die über das Jahr verteilt sind, aber es ist nicht so, als würden sie nur 1PB auf einmal bestellen.

Hier ist ein interessanter Blog-Beitrag von BackBlaze darüber, wie sie dies tun (sie brauchen wahrscheinlich nicht so viele Festplatten wie Google oder Facebook, aber immer noch eine ganze Menge) und was sie tun müssen, als es in Thailand Überschwemmungen gab, die Festplatten verursachten teuer und schwerer zu bekommen:

http://blog.backblaze.com/2012/10/09/backblaze_drive_farming/