RSync zu WebDAV gemountetes Volume sehr langsam

11

Ich habe einen bereitgestellten WebDAV-Speicher, mit dem ich herumspiele, um zu versuchen, meine eigene Pseudo-DropBox einzurichten. Das Hochladen größerer Dateien scheint jedoch sehr langsam zu sein (mein Bandbreitendiagramm ist für eine Weile in Ordnung und bleibt dann für längere Zeit stehen).

Hat jemand das versucht? Ich frage mich, ob die Art und Weise, wie es gemountet wird rsync, den Eindruck erweckt, dass es sich um ein lokales Laufwerk oder etwas anderes handelt und daher möglicherweise gesprächiger ist, als wenn es wüsste, dass es sich um ein gemountetes Netzwerklaufwerk handelt.

Ich synchronisiere mit dem folgenden Befehl: 

rsync -rv /source/directory/ /mounted/webdav/directory/

Dies wird unter MacOS 10.6 ausgeführt, und WebDAV wird mithilfe des nativen Bereitstellungsmechanismus bereitgestellt.

mac network-shares performance rsync webdav AlexC
quelle

Antworten:

13

Überprüfen Sie die Manpage auf

  • --size-only da die meisten Webdav-Implementierungen keine Einstellungsänderungszeit akzeptieren

  • --no-whole-file um rsync mitzuteilen, wie es mit einem entfernten Dateisystem umgeht

  • --inplace rsync ersetzt Dateien direkt, anstatt sie hochzuladen und dann zu ersetzen

Übrigens verwende ich eine andere encfs-Ebene, um Dateien im Webdav zu verschlüsseln, und ich bin ziemlich zufrieden mit der Leistung.

Ribx
quelle
Wie --inplacehelfen? Im Handbuch: Diese Option ist nützlich für die Übertragung großer Dateien mit blockbasierten Änderungen oder angehängten Daten sowie auf Systemen, die festplattengebunden und nicht netzwerkgebunden sind . Dies kann auch dazu beitragen, dass ein Snapshot des Dateisystems beim Kopieren beim Schreiben nicht vom gesamten Inhalt einer Datei abweicht, die nur geringfügige Änderungen aufweist.
msa7
Mein Befehl istsudo mount -t davfs https://webdav.yandex.com/ ~/mnt/yd; rsync -avrc --size-only --no-whole-file /home/msa/xranitel/webdav /home/msa/mnt/webdav
msa7
0

Ich habe dies auf einem Server versucht, für den ich sowohl rsync- als auch WebDAV-Zugriff habe, um den Unterschied zu erkennen, und die Methode rsync over WebDAV war viel langsamer. Muss nur eine Protokollsache sein. Ich denke nicht, dass rsync lokal chattier ist als über ein Netzwerk.

Fideli
quelle
0

Ich bin mir ziemlich sicher, dass dies daran liegt, dass rsync die Prüfsumme für den Vergleich und nach der Übertragung berechnet. Da die Datei remote gespeichert wird, bedeutet dies, dass sie mehrmals übertragen wird.

Sie können rsync als Daemon oder über ssh ausführen, um die Berechnung auf dem Server durchzuführen. Oder deaktivieren Sie einfach die Prüfsumme.

bdecaf
quelle
0

Ich habe festgestellt, dass die Webdav-Bereitstellung von Mac OSX unzuverlässig ist (10.11.6 El Capitan). Wenn ich rsync, tar, cp oder ein anderes Tool verwende, sind einige der Dateien beschädigt. Ich kann wiederholen und wiederholen, aber jedes Mal werden verschiedene Dateien beschädigt. Ich mounte dann denselben exakten Webdav-Ordner in einer Windows-VM innerhalb des Mac (dasselbe Netzwerk, dieselbe Hardware, dasselbe alles, außer jetzt ist es eine Windows-VM anstelle von Mac OSX) und dann läuft alles einwandfrei.

Edward Ned Harvey
quelle