Ich bin kein Ninja mit verteiltem Dateisystem, aber nachdem ich so viele Laufwerke wie möglich auf so wenige Computer wie möglich konsolidiert habe, würde ich versuchen, den Großteil der Computer mit iSCSI mit einem Hauptcomputer zu verbinden. Dort konnte ich die Dinge hoffentlich zu einem fehlertoleranten Speicher zusammenfassen. Vorzugsweise fehlertolerant innerhalb einer Maschine (wenn ein Laufwerk ausfällt) und zwischen Maschinen (wenn eine ganze Maschine ausgeschaltet ist).
Persönlich mag ich ZFS. In diesem Fall wäre die integrierte Komprimierung, Deduplizierung und Fehlertoleranz hilfreich. Ich bin mir jedoch sicher, dass es viele andere Möglichkeiten gibt, die Daten zu komprimieren, während sie fehlertolerant sind.
Ich wünschte, ich hätte eine echte schlüsselfertige Lösung für verteilte Dateien zu empfehlen. Ich weiß, dass dies wirklich kludgey ist, aber ich hoffe, es weist Sie in die richtige Richtung.
Bearbeiten: Ich bin noch neu in ZFS und richte iSCSI ein, erinnere mich aber daran, ein Video von Sun in Deutschland gesehen zu haben, in dem die Fehlertoleranz von ZFS gezeigt wurde. Sie verbanden drei USB-Hubs mit einem Computer und steckten vier Flash-Laufwerke in jeden Hub. Um zu verhindern, dass ein Hub den Speicherpool herunterfährt, wurde ein RAIDz-Volume erstellt, das aus einem Flash-Laufwerk von jedem Hub besteht. Dann streifen sie die vier ZFS RAIDz-Volumes zusammen. Auf diese Weise wurden nur vier Flash-Laufwerke für die Parität verwendet. Als nächstes natürlich der unplugged One Hub und das verschlechterte jeden Zpool, aber alle Daten waren verfügbar. In dieser Konfiguration können bis zu vier Laufwerke verloren gehen, jedoch nur, wenn sich zwei Laufwerke nicht im selben Pool befinden.
Wenn diese Konfiguration mit dem unformatierten Laufwerk jeder Box verwendet würde, würden dadurch mehr Laufwerke für Daten und nicht für Parität erhalten bleiben. Ich habe gehört, dass FreeNAS Laufwerke über "iSCSI" auf "rohe" Weise freigeben kann (oder könnte), daher gehe ich davon aus, dass Linux dasselbe tun kann. Wie gesagt, ich lerne noch, aber diese alternative Methode wäre vom Standpunkt der Laufwerksparität weniger verschwenderisch als mein vorheriger Vorschlag. Natürlich würde es auf der Verwendung von ZFS beruhen, von dem ich nicht weiß, ob es akzeptabel wäre. Ich weiß, dass es normalerweise am besten ist, sich an das zu halten, was Sie wissen, wenn Sie etwas bauen / warten / reparieren müssen, es sei denn, dies ist eine Lernerfahrung.
Hoffe das ist besser.
Bearbeiten: Habe ein bisschen gegraben und das Video gefunden, über das ich gesprochen habe. Der Teil, in dem erklärt wird, wie das USB-Flash-Laufwerk über die Hubs verteilt wird, beginnt bei 2: 10 Minuten. In dem Video wird der Speicherserver "Thumper" (X4500) vorgeführt und erläutert, wie die Festplatten auf die Controller verteilt werden. Wenn also ein Festplattencontroller ausfällt, sind Ihre Daten weiterhin gut. (Ich persönlich denke, dies ist nur ein Video von Geeks, die Spaß haben. Ich wünschte, ich hätte selbst eine Klopferbox, aber meine Frau möchte nicht, dass ich einen Palettenheber durch das Haus fahre .: D Das ist eine große Kiste.)
Bearbeiten: Ich erinnerte mich, dass ich über ein verteiltes Dateisystem namens OpenAFS gekommen war . Ich hatte es nicht versucht, ich hatte nur einige darüber gelesen. Vielleicht wissen andere, wie es in der realen Welt funktioniert.