Auswählen des Dateisystems für einen 16-TB-Raid

Ich stelle gerade eine Maschine mit acht 2-TB-Festplatten zusammen.

Ich werde Raid 6 (12 TB nutzbare Kapazität) darüber verwenden, bin mir aber nicht sicher, ob ich LVM über das RAID stellen soll oder welches Dateisystem ich verwenden soll.

Welche Dateisysteme können bei Verwendung in LVM in der Größe geändert werden?

filesystems lvm raid

— Šimon Tóth
quelle

Um Ihre wörtliche Frage zu beantworten: Die gleichen, deren Größe geändert werden kann, wenn sie nicht in LVM verwendet werden. LVM ist für diese Auswahl nicht relevant, es sei denn, Sie verwenden ein System mit integrierter Funktionalität (was derzeit ZFS bedeutet; und IIRC ZFS verfügt auch über integriertes RAID-6).

— Gilles 'SO - hör auf böse zu sein'

Mit lvm auf einem RAID-Gerät können Sie flexibel mehrere virtuelle Geräte (und Dateisysteme) darauf erstellen. Und Sie können die Größe dieser Geräte flexibel ändern.

Wenn Sie zu 100% sicher sind, dass Sie das nicht benötigen und nur ein großes Dateisystem benötigen, können Sie das Dateisystem direkt auf Ihrem RAID-Gerät erstellen. In diesem Fall wird eine Ebene der Indirektion und Komplexität entfernt.

Die wichtigsten Punkte für die Auswahl eines Dateisystems sind:

sollte gut getestet und stabil sein
sollte Mainstream genug sein
gute leistung natürlich

Das heißt, man ist normalerweise konservativ, wenn es um Dateisysteme geht.

Unter Verwendung dieser Kriterien haben Sie unter Linux grundsätzlich drei Möglichkeiten (Stand 2011-06:

ext3
ext4
xfs

Auf großen Geräten verwende ich xfs, weil a mkfs.xfsviel schneller ist.

Alle diese Dateisysteme können in der Größe geändert werden.

Aktualisieren:

Ich habe einen kleinen Benchmark auf einem 3-TB-Gerät durchgeführt (mit 4k-Blockgröße in allen Dateisystemen):

$ awk -F\; -f mkfs.awk mkfs
          FS     SIZE(TB)      TIME(S)      RSS(MB)      SPEEDUP      SPACEUP
        ext3            1          217           37         1.00         1.00
        ext3            2          478           74         1.00         1.00
        ext3            3          829          111         1.00         1.00
        ext4            1          139           37         1.55         1.00
        ext4            2          298           74         1.60         1.00
        ext4            3          515          111         1.61         1.00
         xfs            1            5            2        43.23        17.01
         xfs            2            9            2        51.43        33.49
         xfs            3           15            2        54.73        50.05

(Die Geschwindigkeit / Mem-Up ist gegen ext3)

(System: Debian 6.0 amd64, mkfs.ext 1.41.12, mkfs.xfs 3.1.4, WD SATA-Laufwerk, hdparm -t ca. 120 MB / s gepufferte Festplattenlesevorgänge)

Das bedeutet, dass das mkfsing eines ext [34] -Dateisystems bis zu 54-mal langsamer ist als das mkfsing eines xfs-Dateisystems. Die Annäherung an 12 TB, die ein Ext fs erstellen, würde wirklich ungefähr eine Stunde dauern (xfs nur ungefähr eine Minute).

— maxschlepzig
quelle

Ich mag XFS auch, aber scheint es nicht albern, es als Dateisystem zu wählen, nur wegen der Geschwindigkeit des Anfangsformats?

— Caleb

Wenn Sie Ihr RAID später erweitern möchten, ist ext4 möglicherweise auf ein 16-TB-Volumen beschränkt (laut Wikipedia ).

— Gert

@Caleb, nun, wenn es beispielsweise Stunden länger dauert und andere Funktionen im Anwendungsfall des Systems keinen Unterschied machen, ist dies der einzige Unterschied, der zählt. Ich werde einen kleinen mkfs-Benchmark auf einem 3-TB-Gerät durchführen - vielleicht könnte @Let_Me_Be auch einen auf seinem System durchführen - das wäre interessant.

— Maxschlepzig

@Gert: Nein, die Einschränkung liegt in der aktuellen Version von ext2progs- Das Ext4-Format unterstützt Volumes mit einer Größe von bis zu 1 Exabyte.

— Teddy

Neuere Versionen von mkfs.ext4 sind VIEL schneller, da die meisten Formatierungen nach dem Mounten im Hintergrund verzögert werden. Außerdem sind die fsck-Zeiten auf ext4 viel schneller als auf ext3.

— Psusi

Bei den meisten unserer Produktionsboxen mit Linux verwenden wir lvm + ext2 / ext3. Dies hängt davon ab, ob der Kunde Journaling / ext3 / oder / ext2 / anfordert.

In Ihrem Fall würde ich ahaead gehen und lvm + ext2 aufbauen, es sei denn, Sie würden von Journaling mehr profitieren, als es Overhead verursacht. Aber es gibt mehr zu berücksichtigen, genau wie es maxschlepzig beschreibt .

— njekto
quelle