Gibt es da draußen ein verteiltes SAN / Speichersystem? [geschlossen]

Wie an vielen anderen Orten bitten wir unsere Benutzer, keine Dateien auf ihren lokalen Computern zu speichern. Stattdessen empfehlen wir, sie auf einen Dateiserver zu stellen, damit andere (mit entsprechenden Berechtigungen) sie verwenden können und die Dateien ordnungsgemäß gesichert werden.

Dies hat zur Folge, dass die meisten Benutzer große Festplatten haben, die hauptsächlich leer sind. Es ist jetzt 2010. Sicher gibt es da draußen ein System, mit dem Sie diesen leeren Raum in ein virtuelles SAN oder eine Dokumentbibliothek verwandeln können?

Was ich mir vorstelle, ist ein Client-Programm, das auf die PCs der Benutzer übertragen wird und mit einem zentralen Server koordiniert ist. Der Server sieht für Benutzer wie ein normaler Dateiserver aus, aber anstatt den gesamten Dateiinhalt beizubehalten, wird lediglich aufgezeichnet, wo sich diese Dateien auf verschiedenen Benutzer-PCs befinden. Es koordiniert dann mit den richtigen Clients, um Dateianforderungen zu bearbeiten. Die Client-Software kann auf solche Anfragen direkt reagieren und ist intelligent genug, um aktuelle Dateien lokal zwischenzuspeichern. Aus Redundanzgründen kann der Server sicherstellen, dass Dateien auf mehrere PCs kopiert werden. Auf diese Weise können Sie möglicherweise Gruppen an verschiedenen Speicherorten definieren, sodass eine Instanz des gesamten Repositorys in jeder Gruppe vorhanden ist, um sich vor einer Katastrophe in einem Gebäude zu schützen und alles andere herunterzufahren.

Natürlich würden Sie Ihren Datenbankserver hier nicht zeigen, aber für einfachere Dinge sehe ich mehrere Vorteile:

• Dateien können häufig von einem näheren (oder lokalen ) Computer übertragen werden.
• Verteilen Sie die Netzwerkkonnektivität, anstatt alle Dateiübertragungen über eine einzige Verbindung zu überfüllen
• Der Speicherplatz wächst automatisch wie Ihr Unternehmen.
• Sollte letztendlich billiger sein, da Sie keinen separaten Satz Festplatten aufbewahren müssen

Ich kann auch einige Nachteile erkennen:

• Gelegentliche Verschlechterung der PC-Leistung des Benutzers, wenn der Computer während einer geschäftigen Zeit eine Übertragung großer Dateien bereitstellen oder akzeptieren muss.
• Schreibvorgänge müssen mehrmals im Netzwerk verbreitet werden (obwohl ich vermute, dass dies kein wirkliches Problem darstellt, da das Lesen an den meisten Orten mehr geschieht als das Schreiben).
• Benötigen Sie immer noch eine Möglichkeit, gelegentlich eine vollständige Kopie der Daten außerhalb des Unternehmens zu senden, und dies würde es sehr schwierig machen, Differentiale durchzuführen

Stellen Sie sich dies wie ein Cloud-Speichersystem vor, das sich vollständig in Ihrem Unternehmens-LAN befindet und Ihre vorhandenen Benutzergeräte nutzt.

Unser alter Hauptdateiserver soll in ungefähr 2 Jahren in den Ruhestand gehen, und ich möchte ihn durch ein kleines SAN ersetzen. Unser aktueller Dateiserver verwendet ungefähr 400 GB einer 1-TB-Freigabe. Wir haben es nur so klein gehalten, weil unser Backup-Speicherplatz begrenzt war. Ich möchte auf mindestens 4 TB nutzbaren Speicherplatz erweitern, wenn dieser ersetzt wird, vielleicht sogar noch viel mehr, wenn die Preise so stark fallen, wie ich es erwartet habe. Ich denke, so etwas passt besser. Als Schule haben wir ein paar Computerlabors, die ich laufen lassen kann, um einem solchen System ein wenig zusätzliche Redundanz zu verleihen.

Mit sehr wenigen Ausnahmen füllen unsere Benutzer weniger als 40 GB ihrer 120 GB-Festplatten, was bedeutet, dass ich problemlos 65 GB pro Computer reservieren kann. Und das wird nur noch zunehmen, da neuere Maschinen mit 250-Gbit-Laufwerken kommen und selbst diese bald leicht größer werden könnten. Zum Zeitpunkt des Austauschs des Dateiservers würde ich angesichts unseres Zeitplans für den Desktop-Austausch erwarten, dass ein solches System 5 TB nutzbaren Speicherplatz zulässt, selbst wenn Redundanz und Verlauf berücksichtigt werden.

Leider ist Dienst das Nächste, was ich finden kann , und es ist nur ein Artikel aus dem Jahr 1994. Benutze ich bei meinen Suchanfragen nur die falschen Schlagworte oder gibt es das wirklich nicht? Wenn nicht, gibt es einen großen Nachteil, den ich vermisse?

Für mich klingt es so, als würden Sie AFS beschreiben , dessen häufigste Implementierung OpenAFS ist . Die wichtigsten OpenAFS-Konzepte werden hier beschrieben: http://docs.openafs.org/UserGuide/ch01.html#HDRWQ3 .

AFS ist:

• Verteilt. Dateisystem mehrere Computer, aber immer noch einen einheitlichen Namespace verwenden, so dass die verteilte Natur für den Client-Computer transparent ist.
• Redundant. Dateien können auf mehreren Serverknoten gleichzeitig vorhanden sein, sodass der Verlust mehrerer Serverknoten nicht zur Unzugänglichkeit von Daten führt.
• Skalierbar. Anscheinend umfassen einige "Enterprise" -Implementierungen bis zu 25.000 Knoten.

Ja, die großen Festplatten in Desktop-Systemen für Endbenutzer werden auf tragische Weise nicht verwendet, wenn Sie den zentralen Speicher ordnungsgemäß verwenden. Naja. Einige Nachteile der Verwendung eines hypothetischen, über ein Desktop-Netzwerk verteilten NAS:

1. Es müsste mit einer Verschlechterung umgehen, die durch das Offline-Schalten von Benutzercomputern verursacht wird. Jemand ist heute nicht hereingekommen und seine Maschine ist ausgeschaltet? Hoffen Sie besser, dass die dortigen Dokumente auf eingeschalteten Computern verteilt werden. Jemand arbeitet heute Abend spät und seine Maschine ist die einzige, die eingeschaltet ist? Pech, sorry. Es sei denn , Sie auch alles , was zu einem echten File - Server kopiert haben - und dann, was haben Sie erreicht?

2. Alles müsste gut verschlüsselt sein - andernfalls werden die Dokumente des Chefs, die seinen Auszahlungsplan enthalten, oder das HR-Dokument, in dem das Gehalt aller angegeben ist, auf Jimmy, den Postbeamten, repliziert. Auf dem er LimeWire ausführt. Sehen Sie, wohin das führt?

So etwas wie CleverSafe (hat sowohl Open Source- als auch kommerzielle Versionen) kann meistens das tun, was Sie wollen, aber die Verwaltung sehr unzuverlässiger Knoten kann ein Problem sein. CleverSafe behandelt mehrere Knotenausfälle, aber möglicherweise nicht schnell genug für die Art der "konstanten Abwanderung" von Knoten, die Sie bei Verwendung von Desktops als Speicherknoten sehen würden.

Ich denke, es gibt ähnliche Lösungen aus wissenschaftlichen Arbeiten, die ich in der Vergangenheit gelesen habe, aber CleverSafe scheint ein wirklich funktionierendes Produkt zu sein und nicht nur ein Prototyp. Das Unternehmen besteht seit 2004.

SANsymphony 7.0 Storage Virtualization Software

unten ist alles von ihrer Website zitiert:

Haupteigenschaften

Geräteunabhängiges Pooling virtueller Festplatten, synchrones Spiegeln (HA), Hochgeschwindigkeits-Caching, asynchrone Remote-Replikation, Thin Provisioning, Auto-Tiering, Online-Snapshots, unterbrechungsfreie Festplattenmigration, kontinuierlicher Datenschutz (CDP)

Zugangsart

Blockieren Sie die Festplatten-E / A über ein physisches oder virtuelles SAN. Der Dateisystemzugriff erfolgt über NFS / CIFS-Protokolle des zugrunde liegenden Windows Server-Betriebssystems. Die beiden Zugriffsmethoden können kombiniert werden, um die Anforderungen an SAN / NAS (Unified Storage) mit hoher Verfügbarkeit zu erfüllen.

Unterstützte Host-Umgebungen

Computersysteme, auf denen Standard-Windows-Betriebssysteme ausgeführt werden, einschließlich (Windows Server 2000, 2003, 2008, Hyper-V, Windows XP, Windows 7), UNIX, HP-UX, Sun Solaris, IBM AIX, RedHat Linus, Suse Linux, Apple MacOs und VMware ESX / vSphere, Citrix XenServer,

Unterstützte Festplatten (Backend)

Alle internen Laufwerke, externen Laufwerke, externen Festplattenarrays, JBODs, Solid State Disks (SSD) und intelligenten Speichersysteme, die unter Windows Server 2008 unterstützt werden, können an die DataCore-Knoten angeschlossen werden. Sie können direkt angeschlossen oder mit SAN verbunden sein.

Es ist was du suchst, ja?

Das nächste, was mir in den Sinn kommt, ist Googles MapReduce oder die kostenlose Hadoop-Alternative, die jedoch für wirklich große Web-Apps in den Petabyte-Bereich skaliert werden soll.

Im Allgemeinen möchte ich Ihr Szenario nicht unbedingt ausprobieren, da der Verwaltungsaufwand für die Verwaltung der Maschinen für diesen zusätzlichen Dienst bei weitem den Nutzen übersteigt, den Sie möglicherweise daraus ziehen.

Außerdem würde ich ein gewisses Risiko sehen, dass es unter Windows (oder einem anderen Betriebssystem) unentdeckte Probleme gibt, die zu einer Sicherheitslücke für einen sich schnell ausbreitenden Wurm führen, der Ihr gesamtes Netzwerk in wenigen Minuten ausschalten kann, unabhängig davon, wie Gut und sicher sind Ihre Systeme konfiguriert und nehmen alle Ihre Datenspeicherpools mit.

Abgesehen davon bin ich mir nicht sicher, ob die freien Festplattenkapazitäten auf Client-Systemen weiter zunehmen werden, da ich davon ausgehe, dass in Zukunft viel mehr Anwendungen ins Web portiert werden, einschließlich Office-Anwendungen und sogar Photoshop, was dazu führen wird ein großer Schub für Thin Clients (wieder).