Rockstabiles Dateisystem für große Dateien (Backups) unter Linux

18

Welches Dateisystem eignet sich am besten für Backups? Ich interessiere mich hauptsächlich für die Stabilität (insbesondere die Unverfälschbarkeit von Dateien während eines harten Neustarts usw.), aber es ist auch wichtig, wie effizient große Dateien (> 5 GB) verarbeitet werden.

Welche Mount-Parameter sollte ich verwenden?

Kernel ist Linux> = 2.6.34.

EDIT: Ich möchte keine Sicherungsmethoden. Ich brauche das Dateisystem, um sie zu speichern.

Maciej Piechotka
quelle
Wie viele Daten sichern Sie täglich, wöchentlich, monatlich? Wie viele Daten möchten Sie wie lange aufbewahren?
Stefan Lasiewski
Muss es Linux sein? Haben Sie ZFS (eine ältere, stabile Version 14) unter FreeBSD 8.1 in Betracht gezogen?
Stefan Lasiewski
Es handelt sich um einen temporären Backup-Speicher für Laptops, der nicht an eine externe Festplatte gesendet wird. Ab FreeBSD - obwohl es ein wunderbares System ist, passt es mir in dieser Anwendung nicht.
Maciej Piechotka

Antworten:

13

Sie können ext4 verwenden, aber ich würde empfehlen, das Mounten mit einem journal_dataModus durchzuführen, der die Freigabe (verzögerte Zuweisung) ausschaltet, was einige frühere Probleme verursacht hat. Durch Deaktivieren der Freigabe werden die Schreibvorgänge für neue Daten verlangsamt. Bei einem Stromausfall ist es jedoch unwahrscheinlicher, dass Schreibvorgänge verloren gehen. Ich sollte auch erwähnen, dass Sie Dealloc deaktivieren können, ohne journal_dataandere Vorteile zu verwenden (oder zumindest in ext3), wie leicht verbesserte Lesevorgänge, und ich glaube, eine bessere Wiederherstellung.

Ausmaße helfen weiterhin bei der Fragmentierung. Extents machen das Löschen von großen Dateien viel schneller als ext3. Das Löschen von Daten beliebiger Größe (einzelne Datei) sollte auf ext4 nahezu augenblicklich erfolgen, kann jedoch auf ext3 sehr lange dauern. (Jeder auf Umfang basierende FS hat diesen Vorteil.)

ext4 ist auch fsckschneller als ext3.

Ein letzter Hinweis, es gab Bugfixes in ext4 bis wie 2.6.31? Ich würde grundsätzlich sicherstellen, dass Sie keinen Kernel vor 2.6.32 ausführen, der ein LTS-Kernel ist.

Xenoterracid
quelle
Wenn Sie sich für "rock-solid" entscheiden ext4, lohnt es sich möglicherweise, die Mertis und die Risiken zu berücksichtigen, die mit ihrer on disk layoutund damit der Sicherheit der Daten in Ruhe verbunden sind (ein Aspekt, der hier behandelt wird )
humanityANDpeace
5

XFS ist absolut solide und seit Ewigkeiten im Kernel enthalten. Untersuchen Sie Tools wie xfs_freeze und prüfen Sie, ob es das ist, wonach Sie suchen. Ich weiß, dass dies sehr subjektiv ist, aber ich verwende XFS seit Jahren ohne Zwischenfälle zur Datenspeicherung.

dsp
quelle
2
Aufgrund meiner Antwort möchte ich feststellen, dass XFS auf Extents basiert und viele der gleichen Vorteile wie ext4 bietet. Ich möchte jedoch erwähnen, dass es die gleichen Probleme mit Dealloc gibt, die ext4 haben kann, was zu Datenverlust in einem Pull-the-Plug-Szenario führen kann. Ich weiß nicht, ob Dealloc in XFS deaktiviert werden kann.
Xenoterracide
Ja, ich bin nicht sicher, ob Sie die Funktion deaktivieren können, aber das Dienstprogramm xfs_freeze stellt ein stabiles Festplattenimage sicher. Auf der Manpage: Das Flag -f fordert an, dass das angegebene XFS-Dateisystem aufgrund neuer Änderungen eingefroren wird. Wenn diese Option ausgewählt ist, können alle laufenden Transaktionen im Dateisystem abgeschlossen werden, neue Aufrufe des Schreibsystems werden angehalten, andere Aufrufe, die das Dateisystem ändern, werden angehalten und alle fehlerhaften Daten, Metadaten und Protokollinformationen werden auf die Festplatte geschrieben. Jeder Prozess, der versucht, in das eingefrorene Dateisystem zu schreiben, blockiert das Warten, bis das Dateisystem nicht mehr eingefroren ist.
dsp 31.08.10
Ich mache mir weniger Sorgen, wenn Dateien während des Schreibvorgangs beschädigt werden, solange Flush funktioniert.
Maciej Piechotka
3

Verwenden Sie einfach ein Backup-Tool, das Prüfsummen unterstützt. Zum Beispiel Dar und es unterstützt inkrementelle Backups. Dann können Sie ein Backup auf ein solides Dateisystem wie ext3 erstellen.

Für Backups möchten Sie etwas sehr solides / sehr stabiles. Und btrfs oder ZFS sind heute einfach nicht fertig.

maxschlepzig
quelle
Ich zähle es als ext3
Maciej Piechotka
0

btrfs bietet transparente Prüfsummen für auf die Festplatte geschriebene Daten und einen schnellen Schreibmodus, der immer aktiviert ist (und viele andere sicherungsfreundliche Funktionen), sodass es für Sicherungen attraktiv ist. Weitere Informationen finden Sie unter https://btrfs.wiki.kernel.org/index.php/Main_Page .

durin42
quelle
Hmm. Auch wenn es in Zukunft eine gute Antwort sein könnte, glaube ich nicht, dass btrfs oder zfs derzeit unter Linux stabil sind.
Maciej Piechotka
Btrfs wurde mir von Kernelnutzern empfohlen. Als letztes wusste ich, dass der Mercurial-Betreuer es auf mindestens einer Maschine in Vollzeit ausführte. Ich verwende ZFS täglich über FUSE und es ist absolut stabil, wenn auch aufgrund von FUSE etwas langsam.
durin42
1
btrfs on disk format ist noch nicht stabil ... Ich würde es nicht empfehlen, bis sich das geändert hat. Kernel-Programmierer können alle möglichen verrückten Dinge ausführen.
Xenoterracide
ZFS mag stabil sein ... aber aufgrund der FUSE-Sache würde ich mich nicht darum kümmern.
Xenoterracide
1
ZFS auf FUSE ist ein Hack. Es könnte ein guter Hack sein, ich würde es nicht für Ihre kritischen Geschäftsdaten vertrauen. Außerdem weist ZFS in FUSE einige Geschwindigkeitsprobleme auf, und die Geschwindigkeit ist entscheidend, wenn Sie Terabytes an Daten sichern.
Stefan Lasiewski
0

Ein imho sehr wichtiger Aspekt , den ich habe , ist nicht in den anderen Antworten diskutiert gesehen , um die Stabilität Eigenschaften der auf Festplatten - Layout des Dateisystems (zB erwägen , Beratung in der Dokumentation der möglichen Kandidatinnen ext4 , Btrfs )

Während der Code - Basis und Menge der Code - Basis - Dateisystem - Treiber zu testen ist in der Tat wichtig , wie andere Antworten alrady zeigen, da es das ist der Schutz der Daten während der Lesen und Schreiben , die auf Festplatten - Layout / Format ist der Schutz vor Gefahren für Ihre Daten in Ruhe, welche Formen von Hardware deffects wie unlesbare Sektoren oder stillen bisschen rot .

In Bezug auf ext4, die angeblich gute Eigenschaften in Bezug auf Codebasis haben, ist lange getestet ( https://events.static.linuxfound.org/sites/events/files/slides/AFL%20filesystem%20fuzzing%2C%20Vault%202016_0. pdf zeigt, dass es länger gedauert hat, um Fehler darin zu finden, als zum Beispiel im moderneren und komplexeren btrfs), ich habe in Ruhe ext4-Resistenz untersucht und einige imho-Mängel des ansonsten gelobten Dateisystems festgestellt.

Ich würde es für ratsam halten (falls ext4als " rock-solid backup fs " ausgewählt), die Wiederherstellbarkeit zu verbessern (wenn auch "härten"), indem Sie das von e2imageden Entwicklern ext4bereitgestellte Tool verwenden

Das e2image-Programm speichert kritische Metadaten des ext2-, ext3- oder ext4-Dateisystems, die sich auf dem Gerät befinden, in einer durch image-file angegebenen Datei. Die Image-Datei kann von dumpe2fs und debugfs mit der Option -i für diese Programme überprüft werden. Dies kann einen Experten bei der Wiederherstellung von katastrophal beschädigten Dateisystemen unterstützen. In Zukunft wird e2fsck erweitert, damit die Image-Datei zur Wiederherstellung eines stark beschädigten Dateisystems verwendet werden kann.

und empfehlen .

Es ist eine sehr gute Idee, Image-Dateien für alle Dateisysteme auf einem System zu erstellen und das Partitionslayout (das mit dem Befehl fdisk -l generiert werden kann) in regelmäßigen Abständen zu speichern - beim Booten und / oder jede Woche oder so. Die Image-Datei sollte auf einem anderen Dateisystem als dem Dateisystem gespeichert werden, dessen Daten darin enthalten sind, um sicherzustellen, dass auf diese Daten zugegriffen werden kann, wenn das Dateisystem schwer beschädigt wurde.

Wenn man bedenkt, dass nicht einmal alle Metadaten des ext4 Plattenlayouts redundant sind (dh Superblock wird anfänglich mehrfach als Kopie gespeichert, Indoes werden nur an genau 1 Stelle gespeichert), ext4ist das sicherlich minderwertig btrfs, was zumindest Prüfsummen für liefern würde alle Metadaten + die Dateiinhaltsdaten .

Um diesem "Mangel" des Festplattenlayouts entgegenzuwirken ext4und es zu einem rock-solidAspekt des Festplattenlayouts zu machen , kann es sinnvoll sein, diese Redundanz und Wiederherstellung für den Dateiinhalt über par2/ parchive zu ergänzen

Obwohl die Frage den Fokus auf die Dateisystemlösungen erfordert, möchte ich darauf hinweisen, dass das meiste, was ein Dateisystem bietet (Zwischenspeichern, Journale, Zurückfordern von zugewiesenem Speicherplatz, Zuweisen von Blöcken usw.), nicht unbedingt von Sicherungsdaten profitiert viel, wenn es nur in großen und seltenen Mengen geschrieben und gelesen wird. Aus diesem Grund würde ich in Betracht ziehen, ein parchivezusätzliches tarBackup als die optimalere Backup-Lösung zu verwenden, da die im Prozess verwendete Codebasis reduziert ist und daher weniger Fehler auftreten, wenn weniger "Funktionen" vorhanden sind.

Mensch und Frieden
quelle