Beschleunigen Sie SFTP-Uploads im Netzwerk mit hoher Latenz?

Ich versuche, eine Reihe großer Dateien mit SFTP international zu übertragen, aber ich stelle fest, dass mein internationaler Partner trotz sehr guter Verbindungen auf beiden Seiten keine Upload-Geschwindigkeiten über ~ 50k erreichen kann. Es können mehrere Verbindungen mit dieser Geschwindigkeit hochgeladen werden (also keine Bandbreite?), Aber kein einzelner Upload verbessert die Geschwindigkeit. Dies ist ein Problem, da viele Dateien mehrere GB groß sind.

Das SFTP wird mit dem Standard-SFTP-System "Remote Login" von Apple OSX gehostet.

Gibt es eine Möglichkeit, die Upload-Geschwindigkeit zu verbessern, oder gibt es einen anderen SFTP-Host, der Abhilfe schafft? Mir ist nicht klar, ob dies ein Konfigurationsproblem oder eine inhärente Einschränkung des Protokolls ist.

(Aus Sicherheitsgründen muss ich eine Ende-zu-Ende-verschlüsselte Peer-zu-Peer-Verbindung verwenden - keine Cloud-Dienste).

Mit dem OpenSSH- sftpClient (den Sie anscheinend verwenden) können Sie Folgendes verwenden:

• -RUmschalten , um die Länge der Anforderungswarteschlange zu erhöhen (Standard ist 64)
• -BUmschalten , um die Größe der Lese- / Schreibanforderung zu erhöhen (Standard ist 32 KB)

Versuchen Sie zunächst, beide Werte zu verdoppeln:

sftp -R 128 -B 65536 user@host

Es spielt wahrscheinlich keine Rolle, welche davon Sie erhöhen.

Das Erhöhen von entweder sollte dazu beitragen, Ihre Verbindung mit hoher Latenz zu sättigen. Mit den oben genannten Einstellungen können zu jeder Zeit Daten im Wert von 8 MB in der Pipe übertragen werden (128 * 64K = 8M).

Beachten Sie, dass dies nur bei großen Dateiübertragungen hilft. Es hat keine Auswirkung, wenn viele kleine Dateien übertragen werden.

Hintergrundinformationen und Erläuterungen zu anderen (GUI-) SFTP-Clients finden Sie im Abschnitt "Netzwerkverzögerung / -latenz" in meiner Antwort auf " Warum ist die maximale FileZilla SFTP-Dateiübertragung auf 1,3 MB / s begrenzt, anstatt die verfügbare Bandbreite zu überlasten?" rsync und WinSCP sind noch langsamer .

Sie können versuchen, die Komprimierung zu aktivieren und prüfen, ob dies hilfreich ist.

Von man sftp:

-C Aktiviert die Komprimierung (über das ssh-Flag).

Und von man ssh:

-C Fordert die Komprimierung aller Daten an (einschließlich stdin, stdout, stderr und Daten für weitergeleitete X11-, TCP- und UNIX-Domänenverbindungen). Der Komprimierungsalgorithmus ist derselbe, der von gzip (1) verwendet wird, und die „Stufe“ kann mit der Option CompressionLevel für Protokollversion 1 gesteuert werden. Die Komprimierung ist für Modemleitungen und andere langsame Verbindungen wünschenswert, verlangsamt jedoch nur die Leistung in schnellen Netzwerken . Der Standardwert kann Host für Host in den Konfigurationsdateien festgelegt werden. Siehe die Option Komprimierung.

Es hört sich eher so an, als ob die Verbindung an einem bestimmten Punkt auf ihrem Weg mit einer begrenzten Geschwindigkeit verbunden sein könnte (oder eher, das scheint mir die einfachste Erklärung für Ihre 50 kB / s pro Verbindung zu sein, aber mehrere solcher Verbindungen sind möglich), obwohl dies möglicherweise nicht der Fall ist schlechte Idee, um sicherzustellen, dass die Festplatten auf beiden Seiten kein Faktor sind.

Sie könnten auch eine kurze Überprüfung durchführen, um festzustellen, ob es „offensichtliche“ Probleme gibt (z. B. eine große Anzahl von erneuten Übertragungen). Wenn Sie jedoch nicht sicher sind, dass Sie dies in Angriff nehmen können, würde ich wahrscheinlich nur sehen, ob die Komprimierung aktiviert wird Hilfe.

Ich versuche, eine Reihe großer Dateien mit SFTP international zu übertragen

Es wurde noch nicht als Antwort erwähnt, aber wenn Sie mehrere Dateien über einen Link mit hoher Latenz übertragen, gibt es eine wirklich einfache Lösung, um eine bessere Leistung zu erzielen:

Übertragen Sie mehrere Dateien gleichzeitig.

Und es ist eine Lösung, die Sie sogar in Ihrer Frage erwähnt haben. Benutze es.

Grundsätzlich kann das TCP-Protokoll Verbindungen mit einem Produkt mit großer Bandbreitenverzögerung nicht sehr gut verarbeiten - eine einzelne Verbindung kann nicht genug Daten gleichzeitig in Bewegung halten. Siehe https://en.wikipedia.org/wiki/TCP_tuning

Da jede Verbindung durch das TCP-Protokoll begrenzt ist, verwenden Sie einfach mehr Verbindungen.

Beschleunigen Sie SFTP-Übertragungen

Angenommen, Ihre Probleme betreffen die Netzwerkoptimierung und / oder die Drosselung pro TCP-Verbindung, sehen Sie sich SFTP mit dem LFTP-Spiegel-Subsystem an

Die Netzwerkoptimierung an beiden Enden ist ein viel umfangreicheres Thema und würde viel Hin- und Herbewegung erfordern, wodurch das Thema aus dem Bereich von ServerFault herausgedrängt würde. Für einzelne Verbindungen kann die von iwaseatenbyagrue erwähnte Komprimierung in beiden Fällen hilfreich sein. Dies setzt voraus, dass das entfernte Ende die Komprimierung zulässt.

(Sie erwähnen "hohe Latenz" im Fragentitel, aber nicht im Nachrichtentext. Haben Sie die tatsächliche Latenz gemessen und was sind die Ergebnisse?)

Es gibt einen Patch für OpenSSH, der den Durchsatz einer Netzwerkverbindung mit hoher Latenz explizit verbessert: HPN-SSH : (Hervorhebung meiner)

SCP und die zugrunde liegende Implementierung des SSH2-Protokolls in OpenSSH sind durch statisch definierte interne Flusssteuerungspuffer auf die Netzwerkleistung beschränkt. Diese Puffer wirken häufig als Engpass für den Netzwerkdurchsatz von SCP, insbesondere bei langen und hochbandigen Netzwerkverbindungen. Durch Ändern des SSH-Codes, damit die Puffer zur Laufzeit definiert werden können, wird dieser Engpass beseitigt. Wir haben einen Patch erstellt, der die Engpässe in OpenSSH beseitigt und vollständig mit anderen Servern und Clients kompatibel ist. Außerdem können HPN-Clients schneller von Nicht-HPN-Servern herunterladen und HPN-Server können Uploads von Nicht-HPN-Clients schneller empfangen.

Versuchen Sie also, HPN-SSH auf der Empfängerseite zu kompilieren und zu verwenden, und prüfen Sie, ob es Ihre Übertragungsgeschwindigkeit verbessert.

Sie sind sich nicht sicher, ob dies eine Option für Sie ist, aber haben Sie versucht, die Daten auf die internationale Site zu ziehen oder zu übertragen? Sowie entweder zu verschiedenen Zeiten, um zu sehen, ob es ein Problem mit dem Wettbewerb um Netzwerkressourcen gibt?

Wir können mehrere Verbindungen mit dieser Geschwindigkeit hochladen (also keine Bandbreite?)

Es klingt nach einem Konfigurationsproblem - entweder absichtlich (als Mittel zum Upselling von Diensten, ohne dass zusätzliche Vorkehrungen getroffen werden müssen) oder versehentlich (z. B. zerbrochene Fensterskalierung oder übereifrige Verkehrskontrolle). Während Sie die Übertragungen parallelisieren konnten, haben Sie uns nichts darüber gesagt, was sich am anderen Ende der Verbindung befindet oder ob es sich lohnt, einige einfache Skripte für das Sharding / die Wiederherstellung von Dateien zu entwickeln.

Tuning der Warteschlangengröße und Komprimierung wahrscheinlich keine wesentlichen Auswirkungen haben, es sei denn , die Ursache ist sehr schlecht Software geschrieben (und openSSH nicht in diese Kategorie - nicht viel Sinn , mit OpenSSH mit einer längeren Anforderungswarteschlange / größere Blockgröße , wenn die Latenz über 250 ms. Möglicherweise möchten Sie versuchen, mit verschiedenen Clients an verschiedenen Standorten ein Problem mit dem Server auszuschließen.

Mein erster Anruf wäre, herauszufinden, welcher Anbieter für das Problem verantwortlich ist, ihn zu bitten, das Problem zu beheben oder zu einem anderen Anbieter zu wechseln.