Optimierung von rsync für die schnelle Übertragung großer Dateien

18

Das ist das, was ich benötige:

  • Rsync-Dämon wird auf dem Quellserver ausgeführt. Der Zielserver führt einen Rsync-Pull wie folgt aus: 
    rsync -ptv rsync: // source_ip: document / source_path / *. abc destination_path /
  • Riesige Binärdateien (3 GB bis 5 GB) werden über ein LAN vom Quellcomputer zum Ziel kopiert. Es ist also keine Ver- / Entschlüsselung erforderlich. Daher wird SSH nicht verwendet. Der Zielcomputer stellt direkt eine Verbindung zum rsync-Dämon her.
  • Der Zielordner ist vor dem Abrufen von rsync immer leer. Ich muss mich also nicht darum kümmern, einige Dateien bedingt zu aktualisieren. Rsync Pull erstellt immer neue Dateien im Ziel (nicht aktualisieren). Daher brauche ich rsync nicht, um Prüfsummen zu berechnen.

Ich bin mit dem CPU-Verbrauch von rsync auf der Empfängerseite nicht zufrieden. Welche rsync-Optionen helfen mir, die Verwendung von rsync in dem oben erläuterten Fall zu optimieren. Ich mache mir Sorgen, dass rsync möglicherweise mehr tut, als ich brauche. rsync prüfsummen dateien. Ich brauche das nicht.

Möchte auch Geschwindigkeitsverbesserungen sehen.

Ändern der Blockgröße, Deaktivieren der Prüfsumme usw. wird helfen?

rsync files Varun
quelle
Verwenden Sie rsync nicht, wenn keine zu übertragenden Deltas vorhanden sind.
womble
3
@womble: Welches Tool soll ich dann verwenden? Rsync wurde hier vorgeschlagen - serverfault.com/questions/384467/…
Varun
netcat oder scp mit der Null-Chiffre.
womble
3
Scp mit null chiffre? Sind Sie sicher, dass scp keine Verschlüsselung unterstützt? Können Sie mir bitte ein Beispiel geben oder auf relevante Ressourcen verweisen?
Varun

Antworten:

25

Möglicherweise möchten Sie sich den Schalter --whole-fileoder ansehen -W. Dies ist standardmäßig aktiviert, wenn rsync lokale Dateisystemkopien erstellt, aber ich denke, die Dokumentation empfiehlt die Verwendung, wenn die LAN-Geschwindigkeit hoch ist und über das Netzwerk synchronisiert wird.

Grundsätzlich deaktiviert es den Rsync-Delta-Algorithmus und überträgt nur die gesamte Datei, wenn es glaubt, dass es anders ist.

Sie sollten sich keine Sorgen um Prüfsummen machen müssen, wenn Sie keine Gewalt anwenden -c. Standardmäßig werden nur der Zeitpunkt der letzten Änderung und die Dateigröße angezeigt, und es wird davon ausgegangen, dass sich die Dateien unterscheiden, wenn sich diese Werte unterscheiden.

wachsen
quelle