Selbst gebraute automatische Tiered Storage-Lösungen unter Linux? (Speicher -> SSD -> Festplatte -> Remotespeicher)

Im Zusammenhang mit dieser Frage zur Verwendung einer SSD für das System und einer Festplatte für Daten , außer ich möchte, dass mein System dies automatisch ausführt ...

Ist es möglich, mehrere Schichten von Speicher- und Push-Elementen automatisch mit einer möglichst kostenlosen Open-Source-Software zwischen diesen zu verschieben?

Ich kenne sehr teure Lösungen der Enterprise-Klasse wie die automatische Archivierung EMC SAN-> EMC Centera , habe mich aber gefragt, ob diese Art von Staged Storage automatisch möglich ist.

Es wäre schön, wenn Sie mehrere Ebenen darin haben könnten: Speicher-> SSD-> HDD-> langsamere Festplatte oder Band oder eine andere Archivierungslösung.

Gibt es Dateisysteme, die dies automatisch tun können? (ZFS, Btrfs, HAMMER?)

Beliebige Unix- Varianten sind in Ordnung, da ich daran interessiert bin, wie das funktioniert und ob es wahrscheinlich auf Linux oder andere Arten (BSD usw.) portierbar ist.

Nun, ZFS verwendet eine Speicherebene namens Hybrid Storage Pool (HSP) :

1. Schicht: Gedächtnis
2. Layer: SSD-basierte Read-Caches (L2ARC) und Write-Caches (separates Intent Log, auch Slog genannt).
3. Schicht: (billige) Festplatten

Mit HSP können Sie die Vorteile von SSDs im Vergleich zu einer reinen Festplattenlösung ganz einfach automatisch nutzen. Ein System, das HSP verwendet, kann sowohl schneller als auch billiger als das letztere sein. Unter diesem Link finden Sie einige schöne Beispiele und weitere Details.

Ich denke, es gibt Pläne für das hierarchische Speichermanagement (HSM) für ZFS (siehe zum Beispiel das OpenSolaris-Projekt für die automatische Datenmigration (ADM) ), aber ich kenne seinen aktuellen Status nicht.

Schauen Sie sich die LVM-basierte "lvmts" -Lösung (LVM Tiered Storage) an, die dieser Typ gerade ausarbeitet:

https://bbs.archlinux.org/viewtopic.php?pid=1140640#p1140640

Ziemlich cool.

TIER scheint Ihre Anforderungen zu erfüllen. Es ist ein Linux-Kernel-Modul, das einen mehrstufigen Speicher erstellen kann. Es scheint von selbst das Muster zu lernen und die Platzierung im Speicher zu optimieren

http://www.lessfs.com/wordpress/?p=776

Beantworte meine eigene Frage mit etwas, was ich gerade gefunden habe:

Ich habe gerade den Kernel aktualisiert und mir das neue Material angesehen, das hinzugefügt wurde, und jetzt gibt es eine Option 'CACHEFILES' , mit der (normalerweise entfernte) Dateisysteme in ein lokales Dateisystem zwischengespeichert werden können. Ich schätze, ich könnte damit einen langsameren Speichermechanismus (HDD) auf einen schnelleren (SSD) zwischenspeichern, zumindest für eine Hierarchieebene.

Einige relevante Links. YMMV.

http://code.google.com/p/fscops/ - "Online Hierarchical Storage Manager (OHSM) ist der erste Versuch in Richtung eines Open-Source-Datenspeichermanagers auf Unternehmensebene, mit dem Daten automatisch zwischen kostenintensivem und kostengünstigem Speicher verschoben werden Medien.".

http://www.tack.ch/unix/dmapi/ - XFS + DMAPI unter Linux

http://jfs.sourceforge.net/ - JFS + DMAPI unter Linux

RAID-Controller bieten einige dieser Funktionen.

"Nutzt SSDs vor Festplattenvolumes, um Controller-Cache-Pools mit hoher Kapazität und hoher Leistung zu erstellen."

http://www.lsi.com/channel/products/storagesw/Pages/MegaRAIDCacheCadeSoftware2-0.aspx

LVM2-Snapshots fallen mir ein, aber Sie können nicht mehr als einen einzelnen Snapshot erstellen.

SAM-QFS ist das bestehende Produkt von Sun und wurde letztes Jahr als Open-Source-Produkt angeboten. Da es sich um CDDL handelt, können Sie es nur direkt auf * BSD portieren.