Ich muss ungefähr 320.000 Dateien, 80.000 Ordner (nur 100 GB) Daten verschieben. Einige Dateien haben eine Größe von> 1 GB, die meisten jedoch eine Größe von <1 KB.
Ich habe mir die schnellste Methode zum Kopieren von Dateien angesehen , bin mir aber nicht sicher, wie nützlich diese sein werden. Bei meinem Problem geht es nicht um reine Übertragungsratengeschwindigkeiten, sondern darum, wie schnell Windows mit der E / A von 320.000 Dateien umgehen kann.
Glaubst du, ich werde Geschwindigkeitsvorteile mit Xcopy, Robocopy, Teracopy oder Fastcopy sehen?
Wir haben lange gebraucht (12 Stunden +), um sie einmal zu kopieren (mit Robocopy), und ich hasse es, das noch einmal tun zu müssen. Was kann ich tun, um es zu beschleunigen?
Das Zeug befindet sich auf einem externen USB 2.0-Laufwerk.
Ich fand, dass der effizienteste Weg, eine große Anzahl von Dateien zu kopieren, darin bestand, sie zuerst in ISO-Dateien zu streamen und stattdessen die ISOs zu kopieren. Auf diese Weise wird die Festplatte nicht durch die Ausgabe von Tausenden von Befehlen betroffen, die zum Kopieren von Dateien erforderlich sind.
Dies hängt natürlich von Ihrer Verzeichnisstruktur ab. Ich hatte das Glück, dass in Abständen von 4,7 GB ein neues Verzeichnis erstellt wurde, sodass die Erstellung eines VBScript zur Automatisierung des Prozesses erheblich vereinfacht wurde.
quelle
Sie werden mit ziemlicher Sicherheit eine bessere Gesamtleistung für die Übertragungssequenz erzielen, wenn Sie zuerst die Quelldateien in ein einzelnes Archiv packen (tar oder in zip komprimiert usw.), dann das Archiv über das Netzwerk übertragen und das Archiv dann im entpacken Ziel.
Bitte vergessen Sie nicht, dass Sie beim Übertragen des Archivs über das Netzwerk besser FTP (oder ein anderes dateiorientiertes Übertragungsprotokoll) verwenden als eine einfache SMB-Dateikopie.
Mit einem Prozess wie dem oben genannten habe ich routinemäßig Anwendungsverzeichnisse von ca. 60 GB (mit ca. 50.000 bis 75.000 Dateien) zwischen mehreren geografisch getrennten Rechenzentren (USA, Europa, Asien) übertragen. Der Unterschied zwischen der Übertragung jeweils einer Datei und der Übertragung eines komprimierten Archivs über FTP ist 10-40-mal schneller.
Rsync kann auch hier Ihr Freund sein (wie in vielen anderen Dateiübertragungsszenarien).
Wenn Sie für kommerzielle Optionen offen sind, kann eine UDP-basierte binäre Streaming-Lösung, die Bits über mehrere UDP-Streams übertragen kann, für Sie von Wert sein. Werfen Sie einen Blick auf http://www.filecatalyst.com/
quelle
Eine andere Möglichkeit wäre, Bittorrent mit einem eingebauten Tracker oder eingeschaltetem DHT zu verwenden. Der Client würde alle Dateien in Blöcken zusammenfassen (verwenden Sie 2 MB oder mehr, falls verfügbar). Auf der Empfangsseite erhalten Sie Dateien in großen Blockblöcken, wenn sie auf die Festplatte geschrieben werden. Dies hilft, Ihre kleinen Dateien in 2-MB-Blöcken zu konsolidieren, und Sie erhalten bessere Übertragungsraten und
quelle