Effizienteres Dateikomprimierungsprogramm für viele identische Dateien?

12

Ich mache eine Sicherungskopie meiner Arbeit und suche ein Programm, das Dateien effizienter komprimieren kann. Das Windows-Standardkomprimierungsprogramm funktioniert einwandfrei, aber es funktioniert nicht so "intelligent", wie ich es gerne hätte.

Bei meinen Dateien handelt es sich im Grunde genommen um vollständige Schnappschüsse meiner Arbeit, die in den letzten Monaten während meiner regelmäßigen vollständigen Sicherungen erstellt wurden. Zwischen den Backups ändert sich nicht viel, und viele Dateien sind nur Kopien voneinander.

Mein gesamter Dateisatz ist ungefähr 15 GB groß (unkomprimiert), während einzelne Snapshot-Backups (komprimiert mit Standardkomprimierungsprogrammen) jeweils ungefähr 150 bis 200 MB groß sind (in der Regel werden sie mit neueren Datumsangaben größer). Die Gesamtgröße aller komprimierten Snapshots beträgt ca. 3 GB. Aufgrund der Art der Dateien erwarte ich von einem "intelligenten" Komprimierungsprogramm, dass es das gesamte Volumen auf etwa 400-500 MB reduziert, dh unter Berücksichtigung angemessener Ineffizienzen und zusätzlichen Speicherplatzes, um die Unterschiede in den Dateien zu komprimieren.

Gibt es ein Komprimierungsprogramm, das die Tatsache ausnutzt, dass viele Dateien identisch sind, um ein viel höheres Komprimierungsverhältnis als das Standard-Windows-Komprimierungsprogramm zu erzielen?

Danke - Gefälscht

Bearbeiten: Beendet gerade eine optimale Komprimierung des gesamten Volumes mit der Standard-Windows-Komprimierung. Es ist nur 10 MB besser als die komprimierten Schnappschüsse zusammen. Meiner Meinung nach ist es inakzeptabel, die Art der Dateien zu kennen.

ChrisF
quelle
Auf welcher Windows-Version?
John T
1
Heh, seine Aussicht ...
3
Wäre es nicht besser, auf die Versionskontrolle anstatt auf diese Sicherungen umzusteigen? Ich benutze Git auch für Binärdateien und es funktioniert wirklich gut. Ich glaube nicht, dass es so gut wie 7z komprimieren könnte, aber ist es wichtig, ob es 150 MB oder 300 MB dauert? Wenn nicht, würde ich mich für die einfache Bedienung und Flexibilität entscheiden.
Maaartinus

Antworten:

18

7-zip unterstützt eine solide Komprimierung, wenn ich mich recht erinnere. Daher sollte es viele nahezu identische Dateien sehr gut komprimieren.

T. Kaltnekar
quelle
2
+1, und betrachten Sie das Standardformat 7z .
Nik
Ich werde es versuchen, ich werde mit den Ergebnissen auf Sie zurückkommen.
2
Nach 1 Stunde Komprimierung bei den höchsten Einstellungen habe ich eine Dateigröße von 133MB. Das ist sehr beeindruckend! Meine ursprüngliche aggressive Schätzung (die ich nicht angegeben habe) war eine Dateigröße von ungefähr 150 MB (dies steht meiner angegebenen konservativen Schätzung von 400-500 MB entgegen). Sieht so aus, als würde ich von jetzt an auf 7z umsteigen!
Selbst wenn Sie sich an das Standard-Zip-Format halten müssen, bietet 7-zip eine bessere Ausbeute als andere gängige Komprimierungstools (WinRAR, WinZip) mit der höchsten Effizienzstufe.
Christophem
7 zip ist buchstäblich eines der ersten Werkzeuge, die ich in eine neue Box gesteckt habe. Es ist einfach zu nützlich.
corsiKa
6

Ich habe den Aspekt "identischer Dateien", wie in der Frage erwähnt, mit 7-zip (Version 9.20) getestet, da noch niemand eine ausführliche Antwort darauf gegeben hat. Dies ergab einige interessante Ergebnisse. Ich habe mit 10 Kopien der Datei getestet , die diese Site für die Meldung "Seite nicht gefunden" verwendet . Diese Datei wird nicht sehr gut als einzelne Datei komprimiert, da es sich um eine JPG-Datei handelt. So wird die Effizienz der Komprimierung mehrerer identischer Dateien demonstriert. Die Dateigröße beträgt 37 KB.

  1. Wenn ich alle zehn Kopien mit dem Zip-Format komprimiere, beträgt die Dateigröße 367 KB, wobei die komprimierte Größe etwa 99% der ursprünglichen Gesamtgröße aller 10 Dateien beträgt .
  2. Wenn ich alle zehn Kopien mit dem 7z-Format komprimiere, beträgt die Dateigröße 37 KB, mit einer komprimierten Größe von etwa 101% von nur einer der Originaldateien.
  3. Wenn ich zuerst 5 Kopien in ein 7-z-Archiv lege, dann 3 und zuletzt 2 Kopien in separaten Schritten hinzufüge, wird die Dateigröße zu 111 KB, etwa dreimal so groß wie eine einzelne Originaldatei.

Wenn ich das 3. Archiv öffne, ist eine der Eigenschaften Block . Hier werden 0, 1 und 2 für 3, 5 bzw. 2 der Dateien aufgelistet.

Beobachtungen:

  1. Das zip-Format komprimiert jede Datei einzeln und profitiert nicht von der Möglichkeit, identische Dateien effizient zu komprimieren.
  2. Das 7z-Format komprimiert effizient mehrere identische Dateien, sofern diese in einem Schritt zum Archiv hinzugefügt werden.

Schlussfolgerungen:

  1. Verwenden Sie für eine optimale Komprimierung von Dateien 7z anstelle von zip.
  2. Die Komprimierung kann sich dramatisch verbessern, wenn Sie einem vorhandenen 7z-Archiv keine Dateien hinzufügen, sondern diese zunächst dekomprimieren und dann einschließlich der neuen Dateien in einem Schritt erneut komprimieren.
R. Schreurs
quelle
1

Windows Vista wird mit einem Sicherungs- und Wiederherstellungscenter geliefert . Es werden inkrementelle Backups Ihrer Dateien erstellt, um Platzverschwendung und das Erstellen mehrerer Backups zu vermeiden. Von der verlinkten Seite:

Zuvor gesicherte Versionen von Dateien belegen nur ein Minimum an Speicherplatz. Wenn sich nur ein kleiner Teil einer Datei ändert (z. B. eine Folie in einer Präsentation), wird nur dieser Teil nachverfolgt und gespeichert.

John T
quelle
1

7-zip hat einen der besten Komprimierungsalgorithmen, die es gibt. Ich glaube nicht, dass es derzeit etwas gibt, das die Komprimierung (Algorithmus) von 7-zip übertrifft.

Mürrischer alter Bär
quelle