Sicherungsdateien mit vielen duplizierten Dateien

7

Ich muss häufig eine Sicherungskopie einer Gruppe von Dateien mit vielen Unterordnern erstellen, die mehrere große, identische Dateien enthalten.

Gibt es ein Komprimierungsschema (.zip, .7z usw.), das dies automatisch erkennt und identische Dateien nicht mehr als einmal speichert?

backup compression Warpin
quelle
Welches Betriebssystem verwenden Sie?
Daniel t.
Ich bin unter Windows (7), aber die Dateien befinden sich in einem Netzwerk, sodass ich die Komprimierungs-App auf jedem Betriebssystem ausführen kann.
Warpin
Sie können für googeln incremental backup.
PersianGulf
1
Inkrementelle Sicherung scheint nicht zu helfen, da neue Dateien (viele identisch mit vorhandenen Dateien) in neuen Ordnern erstellt werden.
Warpin

Antworten:

0

Ja, es ist möglich: /superuser/479074/why-doesnt-gzip-compression-eliminate-duplicate-chunks-of-data

Hier ist ein Beispiel, das ich mir ausgedacht habe:

[jay test]$ tree .
.
`-- compressme
    |-- a
    |   `-- largefile (10MB)
    `-- b
        `-- largefile (10MB, identical to ../a/largefile)

3 directories, 2 files
[jay test]$ du -sh compressme/
21M compressme/
[jay test]$ tar -cf compressme.tar compressme/
[jay test]$ du -sh compressme.tar 
21M compressme.tar
[jay test]$ lzma -9 compressme.tar
[jay test]$ du -sh compressme.tar.lzma 
11M compressme.tar.lzma
Jay
quelle
5

Ich habe das auch gerade durchgemacht.

Wenn Sie Ihre Dateien zu einem Tar Ball komprimieren, erkennt die LZMA-Komprimierung von 7z möglicherweise die Duplikate, wenn sie im Tar Ball zu weit voneinander entfernt sind (dies hängt von der Wörterbuchgröße und einigen anderen Faktoren ab).

7z hat ein WIM-Format, das Duplikate sammelt, dann können Sie dort die normale LZMA-Komprimierung verwenden. Windows-Befehlszeilenbeispiel:

7z a -twim "Example.wim" *
7z a -t7z -m0=lzma -mx=9 -mfb=64 -md=32m -ms=on -mhc=on "Example.7z" "Example.wim"
del "Example.wim"

Es funktioniert gut, probieren Sie es aus.

ALM865
quelle
1

Ich schlage 3 Optionen vor, die ich ausprobiert habe (unter Windows):

  1. 7zip LZMA2-Komprimierung mit einer Wörterbuchgröße von 1536 MB
  2. WinRar "solide" Datei
  3. 7zip WIM-Datei

Ich hatte 10 Ordner mit verschiedenen Versionen einer Website (mit Dateien wie .php , .html , .js , .css , .jpeg , .sql usw.) mit einer Gesamtgröße von 1 GB ( durchschnittlich 100 MB pro Ordner ). Während die Standard-7zip- oder WinRar-Komprimierung eine Datei von ungefähr 400/500 MB ergab, ergaben diese Optionen eine Datei von (1) 80 MB , (2) 100 MB bzw. (3) 170 MB.

Leopoldo Sanczyk
quelle