Windows Server 2012 R2 Deduplizierte 356 GB auf 1,32 GB

Ich experimentiere mit Deduplizierung auf einem Server 2012 R2-Speicherplatz. Ich habe es letzte Nacht die erste Deduplizierungsoptimierung ausführen lassen, und ich war erfreut zu sehen, dass es eine Reduzierung von 340 GB behauptete.

Bildbeschreibung hier eingeben

Ich wusste jedoch, dass dies zu gut war, um wahr zu sein. Auf diesem Laufwerk stammten 100% der Deduplizierung aus SQL Server-Sicherungen:

Bildbeschreibung hier eingeben

Dies erscheint unrealistisch, wenn man bedenkt, dass sich in dem Ordner Datenbanken mit einer 20-fachen Größe befinden. Als Beispiel:

Bildbeschreibung hier eingeben

Es wird davon ausgegangen, dass eine 13,3-GB-Sicherungsdatei auf 0 Byte dedupiert wurde. Und natürlich funktioniert diese Datei nicht wirklich, als ich sie testweise wiederhergestellt habe.

Um noch schlimmer zu machen, gibt es einen anderen Ordner auf dem Laufwerk , das fast ein TB Daten in ihm hat, der sollte viel haben deduped, hat aber nicht.

Funktioniert die Server 2012 R2-Deduplizierung?

windows-server-2012-r2 deduplication storage-spaces

— Mark Henderson
quelle

Ich werde mich daran erinnern müssen. "Natürlich habe ich deine Daten nicht gelöscht, weil du mich sauer gemacht hast. Ich habe sie auf 0 Bytes hochgerechnet, das ist alles."

— HopelessN00b

Ist es möglich, dass die Daten von Nacht zu Nacht relativ gleich sind? Das heißt, wenn Sie das erste und das letzte Backup haben, ist das Einzige, was jede Nacht gemacht wird, eine Momentaufnahme der Unterschiede, wie z. B. VSS. Theoretisch könnte es möglich sein, es auf 0 zu deduplizieren, da die erste und letzte Kopie ausreichen, um die Datei in der Mitte neu zu generieren. Da die Wiederherstellung fehlgeschlagen ist, werde ich warten, bis Sie eine Erklärung finden. Aber Ihr Test ist nicht viel versprechend.

— MikeAWood

@MikeAWood es hat auch völlig andere Datenbank-Backups auf 0 Bytes reduziert, was mit Sicherheit falsch ist. Eines der Dinge, für die ich die Deduplizierung wollte, ist, wie Sie betont haben, dass 90% der Backups von Nacht zu Nacht identisch sind.

— Mark Henderson

@MarkHenderson Wenn Sie ein neues Laufwerk einrichten und alles darauf kopieren, funktioniert es dann? Ich rate nur faul. Möglicherweise ähnelt es DFS, bei dem der Prozess des Anzeigens der Anfangsdaten ausgeführt werden muss, oder es funktioniert nicht richtig. Ihre Ergebnisse sind seltsam, keine Frage. Hoffentlich finden Sie es heraus, ich bin gespannt, was passiert ist ..

— MikeAWood

@ MikeAWood - Ich habe das nicht ausprobiert. Ich habe das Laufwerk seitdem überarbeitet und mit verschiedenen Deduplizierungs-Einstellungen neu erstellt. Ich werde also sehen, was heute Abend passiert, wenn ein weiterer Dump ausgeführt wird

— Mark Henderson

Antworten:

Die Deduplizierung funktioniert.

Mit der Deduplizierung wird das Feld Größe auf der Festplatte bedeutungslos. Die Dateien sind keine normalen "Dateien" mehr, sondern Analysepunkte und enthalten keine eigentlichen Daten, sondern Metadaten für die Dedup-Engine zur Dateikonstruktion. Nach meinem Verständnis können Sie keine Einsparungen pro Datei erzielen, da der Dedup-Chunk-Speicher pro Volume erfolgt und Sie daher nur Einsparungen pro Volume erzielen. http://msdn.microsoft.com/en-us/library/hh769303(v=vs.85).aspx

Möglicherweise war Ihr Dedup-Auftrag noch nicht abgeschlossen, wenn einige andere Daten noch nicht dedupiert wurden. Es ist nicht superschnell, standardmäßig zeitlich begrenzt und kann abhängig von Ihrer Hardware ressourcenbeschränkt sein. Überprüfen Sie den Dedup-Zeitplan im Server-Manager.

Ich habe dedup auf mehreren Systemen (Windows 2012 R2) in verschiedenen Szenarien (SCCM DP, verschiedene Bereitstellungssysteme, generische Dateiserver, Benutzer-Home-Ordner-Dateiserver usw.) seit etwa einem Jahr bereitgestellt. Stellen Sie sicher, dass Sie vollständig gepatcht sind. Ich erinnere mich an mehrere Patches für die Dedup-Funktionalität (sowohl kumulative Updates als auch Hotfixes) seit RTM.

Es gibt jedoch einige Probleme, bei denen einige Systeme Daten nicht direkt aus optimierten Dateien im lokalen System lesen können (IIS, SCCM in einigen Szenarien). Wie von yagmoth555 vorgeschlagen, sollten Sie entweder Expand-DedupFile versuchen, um die Optimierung aufzuheben, oder einfach eine Kopie der Datei erstellen (die Zieldatei wird bis zum nächsten Optimierungslauf nicht optimiert) und es erneut versuchen. http://blogs.technet.com/b/configmgrteam/archive/2014/02/18/configuration-manager-distribution-points-and-windows-server-2012-data-deduplication.aspx https: //kickthatcomputer.wordpress .com / 2013/12/22 / Keine-Eingabe-Datei-angegeben-Windows-Server-2012-Deduplizierung-auf-iis-mit-PHP /

Wenn Ihre SQL-Sicherung tatsächlich beschädigt ist, liegt dies meines Erachtens an einem anderen Problem und nicht an der Deduplizierungstechnologie.

— Don Zoomik
quelle

Danke für die Antwort. Ihre Antwort spiegelt meine eigenen Erkenntnisse wider. Ich hatte einige Missverständnisse über Deduplizierung und meine Testmethode war fehlerhaft.

— Mark Henderson

@Markieren Sie etwas über Ihre Missverständnisse und Testmethoden, die Sie mitteilen könnten ...? Vielleicht in einem Blogbeitrag? Es wäre interessant zu lernen, da ich mir nicht vorstellen kann, wo Sie (und daher ich) falsch liegen könnten. EDIT: Ich habe jetzt Ihre Antwort gesehen ... aber ein Blog-Post wäre eine gute Lektüre, wenn Sie eine haben.

— Ashley

@AshleySteel Ich blogge nicht mehr wirklich. Früher einmal. Im Grunde kam es darauf an, dass ich nicht verstand, wie Windows Server-Deduplizierung funktioniert ...

— Mark Henderson

Es sieht so aus, als hätte ich die Waffe gesprungen und gesagt, dass eine solche Deduplizierung nicht möglich ist. Anscheinend ist dies durchaus möglich, da ich zusätzlich zu diesen unkomprimierten SQL Server-Sicherungen auch Sicherungen auf VMWare-Snapshot-Ebene der Host-VMs habe.

Wie yagmoth555 vorschlug, habe ich Expand-DedupeFileeinige dieser 0-Byte-Dateien bearbeitet und am Ende eine vollständig verwendbare Datei erhalten.

Ich habe mir dann meine Testmethode angesehen, um festzustellen, ob die Dateien nicht gut sind, und habe einen Fehler in meinen Tests festgestellt (Berechtigungen!).

Ich habe auch eine 0-Byte-Sicherungsdatei in einem Hex-Editor geöffnet, und alles sah in Ordnung aus.

Also habe ich meine Testmethode angepasst und alles scheint tatsächlich zu funktionieren. Als ich es verließ, wurden die Deduplizierungen tatsächlich besser und ich habe jetzt dank Deduplizierung mehr als 1,5 TB Platz gespart.

Ich werde dies gründlicher testen, bevor ich es in die Produktion starte, aber im Moment sieht es vielversprechend aus.

— Mark Henderson
quelle

Ja, aber ich habe nur den Fall eines Hyperv-Clusters db dedup'ed gesehen. 4 tb bis 400 g, und die VM lief. Das Betriebssystem wurde vollständig gepatcht.

Handelt es sich bei Ihrer SQL-Sicherungsdatei um einen Speicherauszug, den Sie einlesen können? Ich würde den Inhalt überprüfen. Für diesen Teil kann ich nicht beantworten, wie es ASCII-Datei dedup.

— yagmoth555
quelle

Sie sind Binärdateien, aber wie ich bereits erwähnt habe, ist alles, was sich in ihnen befindet, vollkommen beschädigt. Ich habe den Inhalt nicht wirklich in einem Hex-Editor überprüft, und seitdem habe ich dieses Laufwerk mit verschiedenen Deduplizierungsparametern neu erstellt, um zu sehen, was heute Abend passiert.

— Mark Henderson

@ MarkHenderson Es kann sich um eine Chunk-Beschädigung in den Dedup-Metadaten handeln, da die Größe 0 war. "Durch die Deduplizierung wird die Auswirkung einer einzelnen Blockbeschädigung erhöht, da auf einen beliebten Block eine große Anzahl von Dateien verweisen kann. Stellen Sie sich vor, ein Block, auf den 1000 Dateien verweisen, geht aufgrund eines Sektorenfehlers verloren. Sie würden sofort einen Verlust von 1000 Dateien erleiden. " Die cmd Expand-DedupFile schließt aus, ob es sich um eine fehlerhafte .bak- oder eine Dedup-Beschädigung handelt

— yagmoth555