Rsync freundliches gzip

26

Ich muss nicht der einzige sein - ich synchronisiere .tar.gz-Dateien und stelle fest, dass jedes Mal, wenn die vollständige Datei synchronisiert wird, die Unterschiede nicht berücksichtigt werden. Es scheint, dass 1999 jemand einen Algorithmus entwickelt hat, der das Problem http://svana.org/kleptog/rgzip.html behebt (nur 5% der Daten müssen übertragen werden).

Wie erstelle ich rsync-freundliche .tar.gz-Dateien?

svandragt
quelle

Antworten:

27

Mein gzip (auf Ubuntu und Fedora) hat die Option --rsyncable. So erstellen Sie die Tarballs mit:

tar -c whatever/ | gzip --rsyncable > file.tar.gz
Pixelbeat
quelle
12

BeezNest hat eine ziemlich gute Erklärung für die Option rsyncable für gzip . Im Autorentest erhöhte diese Option die Dateigröße um etwa 1%, ermöglichte es jedoch rsync, die Aktualisierungen in eine ZIP-Datei mit über 1.300-facher Geschwindigkeit zu übertragen.

Zu den wichtigsten Details siehe diese Diskussion , die sie zitieren.

Reiches Apodaca
quelle
4

Ich mag dieses, weil ich es tar.gz wollte, nicht nur .gz

GZIP='--rsyncable' tar cvzf bobsbackup.tar.gz /home/bob
Weston Ganger
quelle
3

Ich weiß, dass Ubuntu Linux einen Patch (gzip-Datei) auf gzip-Quellen anwendet , um ein --rsyncableFlag zuzulassen . Sie können diesen Patch herunterladen und selbst verwenden oder prüfen, ob Ihre Distribution den Patch enthält.

Alok
quelle