Welche Tools und Konzepte eignen sich für Personen, die über die Verwendung der HFS-Dateisystemkomprimierung nachdenken?

12

Ich habe einen Client mit ca. 60 TB Daten auf mehreren HFS + -Volumes, die direkt über den Fibre-Channel angeschlossen und über AFP gemeinsam genutzt werden. Wir haben derzeit eine Kapazität von rund 85%, und das Budget für die Erweiterung des Speichers wird monatelang nicht ins Spiel kommen. Unser Datenwachstum deutet darauf hin, dass wir in vier Monaten eine Kapazität von 90% erreichen werden. Ich erwäge eine Art direkte Dateisystemkomprimierung, die Dateien im Ruhezustand im Speicher transparent komprimiert, ohne die Workflows der Desktop-Benutzer zu ändern. (Das heißt, sie sollten wie gewohnt funktionieren, ohne Dateien dekomprimieren zu müssen.)

Ich verstehe, dass die HFS + -Dateisystemkomprimierung mit dem Befehl ditto durchgeführt werden kann. Ich habe auch das kostenlose afsctool erfolgreich verwendet , um Dateien zu komprimieren. Letzteres wurde seit einiger Zeit nicht mehr aktualisiert und ich bin mir nicht sicher, wie sich der Entwickler engagiert. Ich bin kein Programmierer, daher bedeutet mir der Quellcode wenig.

Gibt es alternative kommerzielle Tools, die im Hintergrund automatisch die Dateisystemkomprimierung auf die von mir gewünschte Weise durchführen? Vorzugsweise würde es eine zuverlässige Unternehmensunterstützung für das Tool geben (z. B. telefonische Unterstützung). Oder wäre es besser, wenn ich die Skriptkomprimierung regelmäßig mit dito ausführen würde? Ist die HFS + -Komprimierung überhaupt der richtige Weg?

storage hfs Flumignan
quelle

Antworten:

7

Zuerst sollten Sie herausfinden, ob sich die Komprimierung lohnt oder nicht. Dies hängt weitgehend von der Art des Inhalts ab, den Sie speichern. Wenn der Inhalt nicht komprimierbar ist (JPEG-Bilder, die meisten Videoformate, ZIP-Archive usw.), bietet dies nur geringe Vorteile, und der zusätzliche Dekomprimierungsaufwand kann sogar zu einer (geringfügigen) Verlangsamung des Dateizugriffs führen.

Die HFS + -Komprimierung ist aus mehreren Gründen höchstwahrscheinlich das falsche Werkzeug. Erstens ist die Komprimierung nicht transparent, sondern nur die Dekomprimierung. Das heißt, wenn eine Datei komprimiert gespeichert wird, wird sie beim Lesen transparent dekomprimiert, eine neu erstellte Datei wird jedoch standardmäßig nicht komprimiert.

Schlimmer noch, wenn Sie eine komprimierte Datei überschreiben oder an sie anhängen, wird sie erneut ohne HFS + -Komprimierung gespeichert. Wenn Sie die HFS + -Komprimierung mit Benutzerdaten verwenden möchten, müssen Sie daher zuerst das gesamte Volume (mit ditto oder afsctool) Datei für Datei kopieren. Bei 60 TB kann dies ziemlich lange dauern. Außerdem müssten Sie regelmäßig einen Prozess ausführen, der bestimmt, welche Dateien kürzlich hinzugefügt / geändert wurden (oder nicht komprimiert wurden) und diese (erneut) komprimiert.

Wie in der gleichen Manpage angegeben, ist die HFS + -Komprimierung "nur für Installations- und Sicherungsszenarien mit Systemdateien vorgesehen" . Es ist großartig für Ihren /ApplicationsOrdner, aber nicht sehr gut für Ihren Filer geeignet. Nur wenn Sie wirklich verzweifelt nach Kapazität sind und viele Dateien haben, in die nie geschrieben wird, würde ich es sogar in Betracht ziehen. Schlüssel verzweifelt sein :)

Mir sind keine Komprimierungspakete auf transparenter Dateisystemebene für OS X bekannt. ZFS unterstützt die Komprimierung transparenter Dateisysteme, aber das Wechseln der Betriebssysteme und FS Ihrer Filer ist möglicherweise keine Option (da es für Mac OS X leider keine vollständige ZFS-Implementierung gibt).

Ingmar Hupp
quelle
1
Das ist sehr hilfreich. In der Tat ist diese Art der Komprimierung angesichts unserer derzeitigen Budgetbeschränkungen und angesichts unseres Speicherverbrauchs tatsächlich angemessen. Diese Installation enthält zig Millionen kleiner medizinischer Bilddateien, die gut komprimiert werden (ca. 25%). Ich würde sagen, 80% des vorhandenen Dateisystems sind monatelang unberührt, daher ist die HFS-Komprimierung möglicherweise ein guter Kandidat, um uns zu halten, bis wir mehr Speicher kaufen können. Der Xserve ist ziemlich bullig, und mit dem richtigen Startelement und Skript konnte ich ältere, weniger genutzte Projekte im Hintergrund außerhalb der Geschäftszeiten selektiv komprimieren.
Flumignan