Warum gibt mir rsync über SSH den 10-fachen Durchsatz von SCP?

11
  1. scp user@aws-ec2:~/file file
  2. rsync --partial --progress -Pav -e ssh user@aws-ec2:~/file file

scpgibt mir nur 200K / s, aber rsyncgibt mir 1,9M / s

Ich habe mehrmals getestet, alle gleichen Ergebnisse.

rsync verwendet mehrere Threads?

linux networking ssh rsync scp Sato
quelle

Antworten:

7

Beide Protokolle basieren auf SSH. Und SSH selbst hat einige Gemeinkosten : Wiki

SCP ist ein wirklich naives Protokoll mit einem wirklich naiven Algorithmus zum Übertragen einiger kleiner Dateien. Es hat viel Synchronisation (RTT - Round Trip Time) und kleine Puffer (im Grunde 2048 B - Quelle ).

Rsync ist auf Leistung ausgelegt und bietet daher viel bessere Ergebnisse und mehr Funktionen.

Die 10-fache Beschleunigung ist spezifisch für Ihren Fall. Wenn Sie Dateien über Lanes mit hoher Latenz auf der ganzen Welt übertragen würden, würde die Leistung in diesem scpFall erheblich schlechter sein , im lokalen Netzwerk kann die Leistung jedoch nahezu gleich sein.

Und nein, Komprimierung ( -Cfür scp) hilft nicht. Die größten Probleme sind die Latenz und die Puffergröße.

Jakuje
quelle
7

RSYNC gegen SCP

SCP erstellt im Grunde genommen eine einfache alte Kopie von der Quelle zum Ziel lokal oder über ein Netzwerk mithilfe von SSH. Möglicherweise können Sie den -CSwitch jedoch verwenden, um die SSH-Komprimierung zu aktivieren und die Kopie von Daten im Netzwerk möglicherweise zu beschleunigen.

RSYNC überträgt nur die Unterschiede zwischen zwei Dateigruppen über die Netzwerkverbindung. Dabei wird ein effizienter Prüfsummensuchalgorithmus verwendet, der die Netzwerkverbindung während einer Datenübertragung automatisch optimiert.

RSYNC

BESCHREIBUNG

   rsync is a program that behaves in much the same way that rcp does, but
   has many more options and uses  the  rsync  remote-update  protocol  to
   greatly  speed  up  file  transfers  when the destination file is being
   updated.

   The rsync remote-update protocol allows rsync to transfer just the dif-
   ferences between two sets of files across the network connection, using
   an efficient  checksum-search  algorithm  described  in  the  technical
   report that accompanies this package.

Quelle

SCP

BESCHREIBUNG

 scp copies files between hosts on a network.  It uses ssh(1) for data
 transfer, and uses the same authentication and provides the same secu‐
 rity as ssh(1).  scp will ask for passwords or passphrases if they are
 needed for authentication.




 File names may contain a user and host specification to indicate that
 the file is to be copied to/from that host.  Local file names can be
 made explicit using absolute or relative pathnames to avoid scp treat‐
 ing file names containing ‘:’ as host specifiers.  Copies between two
 remote hosts are also permitted.

Quelle

Zuhälter Saft IT
quelle
3
In diesem Fall ist die Situation jedoch etwas anders: Er kopiert nur eine einzige Datei. (Das gibt es vermutlich noch nicht am entfernten Ende.)
Daniel B
1
@DanielB Sie glauben nicht, dass RSYNC standardmäßig die Datenverbindung selbst für die eine Datei optimiert und möglicherweise die Daten während der Übertragung komprimiert, sodass tatsächlich weniger Datenblöcke über die Pipe gesendet werden, während der SCP ohne -CSwitch dies nicht tut. t Daten während der Übertragung über das Rohr komprimieren?
Pimp Juice IT
2
In seiner rsyncBefehlszeile sind weder Komprimierung noch Prüfsumme angegeben . Natürlich ist der In-File-Delta-Algorithmus immer aktiv. Es ist wahrscheinlich nur so scpscheiße.
Daniel B