Ich habe festgestellt, dass ich alle meine Fotos vor Bit Rot schützen muss (zufällige Dateibeschädigung aufgrund von Fehlern auf der Festplatte oder der Netzwerkübertragung).
Ich habe kürzlich par2 entdeckt, das wie ein großartiges Programm zum Erstellen von Redundanzdateien und zum Erkennen und Reparieren von Dateibeschädigungen erscheint.
Ich denke nicht, dass Journaling-Dateisysteme hier die richtige Lösung sind, da ich möchte, dass der Schutz zusammen mit den Dateien in mein Backup und bei der Migration auf neue Laptops folgt.
Ich denke also, ich brauche ein Skript, das als Cronjob ausgeführt werden kann, vielleicht einmal pro Stunde. Es würde alle Dateien durchsuchen, die geschützt werden müssen, und die Redundanzdateien aktualisieren, wenn Dateien hinzugefügt oder geändert werden (Datei hat einen neueren Zeitstempel als Redundanz-Arhive), und es würde Dateien reparieren, wenn eine Datei beschädigt wurde (Datei wurde geändert, aber bearbeitet) Zeitstempel wurde nicht aktualisiert).
Gibt es ein Skript oder Programm, das dies tun würde? Oder gibt es Programme, die das Problem auf andere Weise lösen? Oder sollte ich einfach selbst ein solches Skript schreiben (ich würde es lieber nicht tun, ich möchte etwas Robustes und von vielen Benutzern getestetes)?
quelle
Antworten:
Die kanonische Lösung besteht darin, ein Dateisystem zu verwenden, das Prüfsummen unterstützt, und regelmäßige Sicherungen durchzuführen.
Darüber hinaus können Sie auf Dateisystemebene ein redundantes Speicherschema (RAID) verwenden, um zeitaufwändige Wiederherstellungen aus der Sicherung nach Möglichkeit zu vermeiden.
Beispiele für solche Dateisysteme sind ZFS oder Btrfs .
Die Prüfsummenfunktion solcher Dateisysteme wird unter Verwendung einer kryptografischen Hash-Funktion implementiert. Somit werden Bitfehler stromabwärts des Speicherstapels mit einer sehr hohen Wahrscheinlichkeit erkannt - aufgrund dessen ist ihre Fähigkeit, Verfälschungen zu erkennen, auf dem gleichen Niveau oder höher wie bei Tools wie
par2.Diese Dateisysteme enthalten auch redundante Speicherfunktionen - ähnlich wie bei RAID-Levels. Der Unterschied zu einem klassischen Layering-RAID-Ansatz besteht darin, dass das Dateisystem im Falle einer erkannten Beschädigung das "richtige" Bein auswählen kann, dh die Seite des RAID-Spiegels, die den Block mit der richtigen Prüfsumme zurückgibt.
quelle
Dies ist eine ältere Frage, die aber 2019 immer noch relevant ist.
Ja, Paritätsdateien sind eine praktikable Lösung für Bit-Rot
Die Paritätsprüfung auf Nicht-Dateisystemebene hat zwar Nachteile, aber auch einen großen Vorteil:
Portabilität.
Die schickste dateisystembasierte Fehlerprüfung der Welt könnte Ihre Daten theoretisch für immer bitrotfrei halten, aber der Schutz ist auf dieses Dateisystem beschränkt. Sobald Dateien verlassen werden, sind sie ungeschützt.
Bilder mit Paritätsdateien daneben können auf USB-Laufwerke verschoben, über packlossy Verbindungen übertragen, komprimiert, einzeln auf andere Medien gesichert und hundert andere Dinge, die ich mir auf den ersten Blick ausdenken kann.
Sie können auch Änderungen aufgrund fehlerhafter Programme verhindern (z. B. Metadatenanalysatoren, die versehentlich falsche Metadaten schreiben).
PAR2 ist eine praktikable Wahl der Paritätsdatei
Insbesondere PAR2-Dateien können plattformübergreifend verwendet werden, und ihre größten Nachteile sind im Anwendungsfall des Schutzes großer Fotos eigentlich kein Problem (PAR2 unterstützt keine Unterordner und verarbeitet Dateien mit <1 KB nicht effizient).
PAR-Dateien sind jedoch keine vollständige Sicherungslösung für sich
Sie müssen weiterhin Teil einer 3-Kopien-Sicherungsstrategie sein, um "kugelsicher" zu sein, insbesondere da bei PAR-Dateien kein Änderungsverlauf vorliegt: Wenn eine Änderung als gültig erkannt und die Paritätsdateien neu erstellt werden, gibt es kein Zurück, ohne auf a zu verweisen separate Sicherung (eine externe Sicherungslösung mit integriertem Änderungsverlauf wäre hier der Gewinner).
Nächste Schritte
Die Antwort auf die ursprüngliche Frage: "Gibt es ein Skript oder Programm, das [automatisch Paritätsdateien erstellt und verwaltet]?" ist 2019 immer noch Nein, aber ein Skript selbst zu erstellen oder eines erstellen zu lassen ist ziemlich trivial. Wenn Sie diesen Weg gehen, ist der beste Rat, den ich geben kann: Erstellen Sie eine Testumgebung mit jedem denkbaren Randfall und führen Sie jedes Skript durch alle Tests, bevor Sie ihm vertrauen.
Und wenn jemand das Lesen nicht diesen Weg gehen, sollten Sie Open-Sourcing es zum Wohle aller.
quelle