Wie begrenzen Sie die Bandbreite für eine Dateikopie?

13

Ich habe eine alte Windows 2000-Box an einem Remotestandort mit einer T1-Verbindung und einem VPN zu meinem Standort. Normalerweise verwende ich smb-Mounts, um Dateien zu übertragen, aber jetzt ist es Zeit, den Server außer Betrieb zu setzen und seine Backups an meinen Standort zu kopieren. Ich muss ungefähr 40 Gigabyte (komprimiert) kopieren. Ich bin darauf vorbereitet, dass es lange dauert, aber ich habe ein paar Vorbehalte.

  • Ich muss die Bandbreite begrenzen, damit die Terminaldienstverbindungen zur Site nicht beeinträchtigt werden
  • Ich möchte eine teilweise Übertragung wieder aufnehmen können

Es gibt einige kleine Dateien und einige große Dateien (10-20 Gigabyte). Ich kenne mich mit Rsync auf * nix-Plattformen aus, habe aber Pech mit Windows gehabt und weiß nicht, ob es wirklich teilweise übertragene Dateien enthält. Was benutzt du?

Reconbot
quelle
1
Robocopy scheint eine gute Lösung zu sein, ich werde es bald versuchen müssen. Ich bin derzeit 53,7% auf einem privaten Strom. Ich habe uTorrent anstelle von Robocopy ausgewählt, weil es einen Zeitplan gibt, der es mir ermöglicht, unbegrenzt außerhalb der Geschäftszeiten und mit einem angemessenen Limit zu übertragen, wenn es darauf ankommt. Checksumming tut auch nicht weh. Am Ende habe ich Jeffs Anweisungen verwendet, obwohl ich mir sicher bin, dass ich mehr Kontrolle über einen öffentlichen Torrent haben möchte.
Reconbot

Antworten:

19

robocopy.exeverfügt über einen Switch mit der Bezeichnung Inter Packet Gap , mit dem Sie ein Zeitfenster zwischen die Pakete Ihrer Kopie einfügen und so die Auswirkungen auf den Kanal verringern können.

Es ist nicht genau "nicht mehr als 30% der verfügbaren Bandbreite verwenden", aber Sie können den gleichen Effekt mit ein wenig Mathe erzielen. Sie können immer eine bestimmte Anzahl von Millisekunden angeben und eine Weile laufen lassen. CTRL+CZum Unterbrechen passen Sie Ihren Befehl nach Bedarf an und setzen ihn dann fort. Ich habe genau das getan, als ich das WAN während des Geschäftstages nicht mit massiven Replikationen überlasten wollte.

robocopy verfügt über einen weiteren Schalter /z, mit dem Übertragungen "fortgesetzt" werden können. Wenn die Übertragung unterbrochen wird, können Sie an der Stelle weitermachen, an der Sie aufgehört haben, und müssen nicht die gesamten 40 GB erneut verschieben.

Ich bin mir nicht sicher, wie detailliert das Resume-Bit ist, da ich zum Beispiel noch nie eine einzelne 40-GB-ZIP-Datei getestet habe. Teste zuerst etwas kleineres ;-)

Es gibt einige nette GUIs für Robocopy, die bei der Syntax helfen können, aber jeder mit Linux-Hintergrund wird es leicht verstehen. Holen Sie sich die neuesten Versionen von einer Kopie von Windows 2003 oder höher. Andernfalls wird es als Windows 2000 Resource Kit Tool heruntergeladen.

Im Wikipedia-Eintrag für Robocopy stellte jemand fest, dass die Strafe für das neustartfähige Kopieren (der /zSchalter) 6x langsamer ist (siehe Bekannte Fehler ).

nray
quelle
Sie machen es falsch - Robocopy ist seit Jahren ein Werkzeug der Wahl, das in einer beliebigen Anzahl von Netzwerken getestet wurde. Der "Robo" soll "robust" bedeuten.
27.
+! für Robocopy. Ich habe es mehrmals so benutzt und hatte nie ein Problem.
KPWINC
+1 für ein bekanntes, häufig verwendetes Tool. Seltsamerweise ist es manchmal einfacher, Robocopy in eine (ick) Batch-Datei zu kopieren und über System-Tasks auf diese Weise wiederholte Kopien anzufertigen.
Avery Payne
1
In meinem lokalen LAN stellte ich fest, dass ein IPG-Wert von 50 ms mich auf etwa 10 Mbit / s brachte, was der gewünschte Wert war.
Trp
Außerdem stellte ich fest, dass ich mit IPG-Werten von weniger als etwa 25 ms praktisch keinen höheren Durchsatz erzielen konnte.
Trp
5

Das Kopieren von 40 GB Dateien über einen T-1 dauert mehr als 60 Stunden. Es ist möglicherweise einfacher, eine externe Festplatte in beide Richtungen zu versenden. Sie können ihn an den Server anschließen lassen, Ihre Dateien kopieren / verschlüsseln und ihn dann an Sie zurückschicken lassen.

Carl C
quelle
sieht nach meiner Rechnung nach etwa 60 Stunden aus: 40 GB * 1024 (MB / GB) * 8 (Bit / Byte) / 1,5 MBit / 3600 (Sek / Std.) = ~ 60 Stunden. Natürlich wird es wahrscheinlich Overhead und so geben, also wird es etwas länger dauern, also vielleicht 70 oder 80 sagen, um in Sicherheit zu sein? Aber 1,5 MBit sind ziemlich langsam, selbst ein sehr alter PC sollte keine Probleme haben, Daten mit dieser Geschwindigkeit einzugeben.
Davr
2
"Unterschätzen Sie niemals die Bandbreite eines Kombis voller Bänder, die die Autobahn entlang rasen." -Tanenbaum, Andrew S. (1996)
Nr.
2
Der Nutzen von Ersatzfestplatten geht in meinem Büro verloren. Es macht mir nichts aus zu warten.
Reconbot
40 GB sind heutzutage für einen AAA-Titel nicht mehr so ​​groß. Sie haben noch kein FTTH ?! Sie hätten den Steam-Download abgeschlossen, bevor Sie vom Best Buy zurückgekehrt wären (ganz zu schweigen vom 25-GB-Tag-1-Patch).
mbx
Heutzutage wann? 2016? Sie wissen, dass der Beitrag im Jahr 2009 fertig war?
JasonXA
4

Sie können versuchen, FTP auf der 2000-Box einzurichten und einen FTP-Client am anderen Ende zu verwenden, z. B. filezilla, um Teilkopien zu verarbeiten.

DanBig
quelle
+1 Die in Filezilla verfügbaren Bandbreitenbeschränkungen zu erwähnen, würde nicht schaden.
Oskar Duveborn
3

Sie sagen, Sie haben rsync unter * nix verwendet. Es gibt mehrere Ports für rsync zu Windows, die Sie sich ansehen könnten. Beispielsweise:

Persönlich fand ich rsync ziemlich zuverlässig und es kann Unterbrechungen mitten in Übertragungen und so weiter behandeln. Rsync verfügt auch über ein Flag, mit dem Übertragungen auf eine exakte Übertragungsgeschwindigkeit von kbit / s begrenzt werden können. Dies scheint also auch für Sie zu funktionieren.

davr
quelle
1

Ich verwende Robocopy, um alle meine Server sowie eine Live-Mailserver-Sicherung zu sichern. Sobald es richtig eingerichtet ist, ist es wirklich eingestellt und vergessen. Das Beste, was mir je in meinem IT-Leben passiert ist. Ich setze nur meine 32 Cent ein (unter Berücksichtigung der Inflation)


quelle
1

Ich benutze KillCopy für diesen Zweck. Ich finde es sehr praktisch.
Es verfügt über separate Geschwindigkeits- und andere Einstellungsprofile für lokale und Netzwerkkopien.
Es kann auch fortgesetzt werden, wenn die Übertragung einer großen Datei (en) bei einer schlechten Verbindung unterbrochen wird oder auch wenn der Computer, auf dem sich das Programm befindet, abstürzt.

Roland Pihlakas
quelle