Ich habe heute meinen ersten Einblick in Gigabit-Netzwerke bekommen, zwischen meinem 2011 MacMini und Windows 8 Pro Desktop, der über Cat.5e mit Linksys WRT320N (sporting dd-WRT) verbunden ist.
Nachdem ich sichergestellt hatte, dass die Leitungsgeschwindigkeit auf beiden Systemen 1 Gbit / s betrug, kopierte ich einen 2,4 GB MP4 vom Mini auf den Win 8-Desktop (SMB-Sharing). Obwohl ich mit den 30-34 MB / s von Teracopy zufrieden bin (was für mich eine deutliche Steigerung von 10 MB / s bedeutet), war ich dennoch neugierig auf diesen massiven Unterschied zwischen der beworbenen und der realen Geschwindigkeit.
2 Stunden von Google ließen mich glauben, dass es andere Faktoren gab, die zu einer geringeren Geschwindigkeit führten, wobei SMB einer war. Nur um das zu tun, habe ich beide Systeme per iPerf überprüft und erraten, was sich daraus ergibt - ungefähr 875 MBit / s auf beiden Systemen!
Ich stieß dann auf diese kleine Information, nach der ich Teracopy ausschaltete und dieselbe Datei über den normalen Windows 8-Kopierer kopierte. 109 MB / s. Geschmolzene Gehirne :)
Was genau verursacht das? Und kann ich solche Geschwindigkeiten über Teracopy aktivieren? Ich werde die zusätzlichen Funktionen, die Teracopy bietet, jetzt sicherlich vermissen: D
Antworten:
Zwei Wörter: Verifikation und Cache
Technische Erklärung
Dies ist die allgemeine Vorgehensweise zum Kopieren einer Datei mit Windows Explorer:
Dies scheint einfach und kurz genug zu sein. Bei diesem Übertragungsalgorithmus wird jedes Byte der Datei nur zweimal verarbeitet: einmal lesen, einmal schreiben.
Darüber hinaus verwendet Windows (wie auch das Laufwerk selbst) Speicher, um einige Daten zwischenzuspeichern. Anstatt zu warten, bis der vorherige Block fertig geschrieben ist, und dann den nächsten Block zu lesen, kann währenddessen ein neuer Block gelesen werden der vorherige noch geschrieben wird. Dies kann natürlich nicht ewig dauern, aber Windows kann den gesamten verbleibenden freien Speicher als temporären Puffer zum Speichern der meisten, wenn nicht der gesamten im Speicher gelesenen Datei verwenden.
Sie können das Zwischenspeichern in Aktion sehen, indem Sie eine große Datei oder einen Ordner mit vielen Dateien von einem Laufwerk auf ein anderes kopieren und die beiden sofort vergleichen. Der Vergleich wird viel sein diesem Zeitpunkt schneller als zu einem späteren Zeitpunkt, da sich die Datei (en) noch im Speicher befinden und daher nicht wirklich von den Laufwerken gelesen werden.
Da der Speicher sehr schnell ist und die Lesegeschwindigkeiten tendenziell etwas höher sind als die Schreibgeschwindigkeiten, wird die endgültige Übertragungsrate letztendlich nur durch die Schreibgeschwindigkeit des Ziellaufwerks begrenzt.
Teracopy kann zwei Dinge tun, die eine Dateiübertragung verlangsamen können, die der Explorer nicht tut:
Verzichten Sie auf den Cache und lesen Sie direkt vom Laufwerk
Stellen Sie sicher, dass das Ziel richtig geschrieben wurde
Im Gegensatz zu Explorer, der während der Übertragung nur auf grundlegende Fehler überprüft, kann Teracopy tatsächlich überprüfen, ob die Daten korrekt auf das Ziellaufwerk geschrieben wurden, um eine Datenbeschädigung zu vermeiden, die aufgrund von Problemen mit dem Übertragungsmedium (Netzwerk / Laufwerkskabel usw.) auftreten kann. ) oder das Laufwerk selbst (fehlerhafter Sektor usw.) Wenn Sie dies tun, muss die Datei vom Ziel gelesen werden , um sie mit dem Original zu vergleichen.
Abhängig vom verwendeten Algorithmus und der Größe der Datei kann die Überprüfung auf mindestens drei optimiert werden für jede Datei / jeden Datei-Chunk auf Laufwerksoperationen Gegensatz zu den beiden in Explorer: Lesen Sie die Datei aus der Quelle, schreiben Sie die Datei an das Ziel und lesen Sie die Datei vom Ziel.
Sehen Sie sich an, was passiert, wenn Sie eine Datei mit Teracopy (mit einem HDD-optimierten Algorithmus) kopieren:
Das Problem ist, dass, wenn Sie die Dateien während der Übertragung zwischenspeichern, der Vergleich unbrauchbar wird, da Sie nicht die tatsächlichen Daten auf dem Ziellaufwerk lesen, sondern die im Speicher zwischengespeicherte Kopie von der Quelle lesen. Zur ordnungsgemäßen Überprüfung müssen Sie daher den Cache leeren. Dies kann nach jedem Lese- und Schreibvorgang erfolgen (ein zusätzlicher Vorgang, der unzählige Male für Dateien mit einer signifikanten Größe ausgeführt werden würde) oder nur einmal danach die gesamte Datei übertragen wurde.
Gemäß dem folgenden Screenshot führt TeraCopy die Überprüfung nach dem Übertragen der Dateien durch, nicht während. Dies bedeutet, dass stattdessen dieser CPU / RAM-optimierte Übertragungsalgorithmus verwendet wird:
Während dieses Algorithmus legt etwas weniger Belastung für die CPU und RAM, auch es viel mehr Belastung für die Festplatte (n) legt , weil jetzt jede Datei verarbeitet wird , hat vier Mal: die gesamte Datei aus der Quelle lesen, schreibt es zum Ziel Lesen Sie es dann erneut von der Quelle und erneut vom Ziel.
(Wenn TeraCopy für Netzwerkübertragungen optimiert wäre, könnte vermieden werden, dass die gesamte Datei ein zweites Mal zur Überprüfung gesendet wird und nur die Hashes gesendet werden, die viel kleiner sind, aber dies scheint derzeit nicht der Fall zu sein, und Netzwerktreiber werden gleich behandelt als lokales Laufwerk, so dass es tatsächlich die Quelle neu liest.)
Standardmäßig überprüft oder verwendet TeraCopy den Cache nicht. Eine Nichtverifizierung würde die Übertragung beschleunigen (oder genauer gesagt nicht verlangsamen ), während eine Nichtverwendung des Cache die Übertragung verlangsamen würde .
Anwendung
Um Ihre spezifischen Geschwindigkeitsergebnisse zu ermitteln, müssen Sie Ihre Einstellungen überprüfen, um festzustellen, ob Sie sie geändert haben. Dann können Sie versuchen, zu schätzen, welche Geschwindigkeiten Sie mit den verschiedenen Einstellungen erhalten würden (beachten Sie, dass diese wahrscheinlich interagieren werden, sodass es nicht einfach ist, sie zu addieren oder zu subtrahieren).
Das heißt, lassen Sie uns eine flüchtige Berechnung mit Ihren Zahlen machen:
Auf Anhieb stellen wir fest, dass der Dateitransfer des Explorers Ihren Netzwerkdurchsatz nahezu maximiert. Eine 1-Gbit / s-Verbindung entspricht 1.000.000.000 Bits pro Sekunde, was in binären Einheiten von Bytes 119 MBit / s entspricht. Explorer taktet 109MBps, und der restliche 10MBps (was komisch genug , um Ihr vorheriger war max
:^Þ) kann leicht durch Overhead, Hintergrundbelastung und Fragmentierung berücksichtigt werden.(Da die Übertragungsrate fast der Netzwerkgeschwindigkeit entspricht, können wir davon ausgehen, dass die Dateiübertragung in eine Richtung erfolgt und nur eine einzige Kopie jeder Datei gesendet wird.) Explorer erhält 110 MBit / s für zwei Dateizugriffe pro Datei.
Nun zu TeraCopy. Es scheint, dass TeraCopy fast genau ein Drittel der Geschwindigkeit des Explorers erreicht.
Abhängig davon, ob das Dialogfeld "Einstellungen" den verwendeten Algorithmus genau angibt oder nicht, sendet TeraCopy möglicherweise die gesamte Quelldatei zweimal, damit die Kopie überprüft werden kann. Dies halbiert sofort den Durchsatz. Wenn der Cache eingeschaltet ist, verringert dies ebenfalls die Geschwindigkeit, da auf das Ende jedes Schreibvorgangs gewartet werden muss, bevor ein neuer Block gesendet werden kann. In Kombination mit der Verifizierung kann es das System sogar noch mehr beeinträchtigen.
Ihre Übertragungsrate von 34 MBit / s erscheint angemessen, wenn Sie die Überprüfung aktiviert und die Zwischenspeicherung deaktiviert haben. Wenn Sie die Überprüfung deaktivieren und die Zwischenspeicherung aktivieren, sollten Sie ungefähr das Gleiche wie im Explorer erhalten (je nachdem, wie unterschiedlich der von TeraCopy verwendete Dateiübertragungscode von dem im Explorer verwendeten Code ist, erhalten Sie möglicherweise immer noch etwas weniger oder sogar etwas mehr).
Wenn Sie fast 10 GB übertragen möchten, können Sie auch versuchen, die Einstellungen zu ändern und die Übertragung für jede der vier Permutationen zu wiederholen. Notieren Sie sich die erzielten Geschwindigkeiten Aus zwischen den Läufen:)
V+C+, V+C-, V-C+, V-C-.quelle
Ich würde vermuten, dass dies mit der Tatsache zusammenhängt, dass Windows 8 SMB Version 3 verwendet, und ich bezweifle, dass teracopy mit SMB Version 3 kompatibel ist und standardmäßig SMB 2 verwendet. Nur eine Vermutung ...
quelle
Ich kann Ihnen keine 100% ige Antwort auf Ihr Problem geben, aber ich kann weitere hinzufügen, die möglicherweise helfen.
Mein Grund für den Wechsel zu Teracopy war die Art und Weise, wie Windows alles "berechnen" muss, bevor etwas unternommen wird, und diese Berechnung selbst kann manchmal den gesamten Prozess einfrieren. In anderen Beiträgen wurde darauf hingewiesen, dass die Art der zu kopierenden Datei in Windows-Kopien eine Rolle spielt, was ich in Teracopy nicht sicher sagen kann, da ich dies nicht gesehen habe. Aber meine eigenen Versuche haben mich bisher mit weniger zurückgelassen, als Sie auf jeden Fall bekommen. Ich kopiere nur allgemeine Dateitypen, keine Mediendateien (z. B. Foto- / Filmdateien).
Meine Tests gingen von einem 3-TB-NAS von Seagate mit GB-NIC-Zugang in einem 100-GB-Netzwerk zu einem GB-System. Bester Fall, 14 Gbit / s. Der Wechsel von NAS zu System HD unter Windows erreichte 12,4 GBit / s und dauerte etwas länger. Nichts näherte sich Ihren 30-34 Mbit / s, geschweige denn 109 Mbit / s.
Ein Teil davon ist sicherlich auf die Flusskontrolle des NAS zurückzuführen, selbst in einem GB-Netzwerk. Ich würde mich sehr freuen, wenn ich 34 GB / s bekommen könnte, noch glücklicher, wenn ich 109 GB / s bekommen könnte. Wenn Sie einen schnelleren Dateikopierer finden, posten Sie bitte! :)
quelle
Dies half mir bei diesem Problem zwischen Intel-Motherboard-Chipsatz-NICs.
Die TOE (TCP Offload Engine) wurde 2003 in Windows eingeführt. Die schrecklichen Ergebnisse der Broadcom-Netzwerkkarten, die zu dieser Zeit auf den meisten Servern verwendet wurden, führten zu einer Beschädigung der Daten, wenn Sie die Prüfsumme "ausgelagert" haben. Es sieht so aus, als hätten die NIC-Anbieter immer noch kein Recht, und es ist nicht nur Broadcom. Das Netzwerk-Offloading ist fast immer langsamer und anscheinend auch fehleranfälliger als alles in Software. Ich würde in Ihre Adaptereinstellungen gehen und jegliches Hardware-Offloading jeglicher Art deaktivieren.
quelle
Zuvor hatte ich das gleiche Problem mit langsamen Übertragungen über TeraCopy. Celeron J1800 mit eingebauter Realtek Gigabit 8111C LAN-Karte. Ich bekam nicht mehr als 35-45 Megabyte pro Sekunde. Ziemlich frustrierend!
Am Ende war ich ein schlechter LAN-Kartenfahrer.
Installierte Windows von Grund auf mit OEM-Treibern. Ich habe auch folgendes gemacht:
Unter Geräte-Manager / LAN-Karte / Erweiterte Einstellungen / Alles außer FLOW CONTROL deaktivieren.
Deaktivieren Sie unter Windows-Funktionen die differenzielle Remotekomprimierung.
Jetzt liegt die durchschnittliche Geschwindigkeit zwischen 60-70 Mbit / s
quelle
Ich habe auch mehrere Tests mit Teracopy 2.3 final und meiner Synology Diskstation durchgeführt. Tatsächlich ist der Kopiervorgang zu langsam. Ich habe Dateien mit einer Durchschnittsgeschwindigkeit von ca. 40 MB / s kopiert.
Das ursprüngliche Windows 8-Dateikopierprogramm ist schneller als Teracopy!
Momentan probiere ich Ultracopier aus, meine aktuellen Geschwindigkeiten liegen bei ca. 80 MB / s, viel schneller als bei Teracopy. Ich mag Teracopy, aber ich denke, Teracopy hat ein Netzwerkkopieproblem.
Da ich viele Dateien von einem Netzwerklaufwerk auf ein anderes kopiere, muss ich das schnellste Kopierprogramm verwenden, das ich bekommen kann, da der Kopiervorgang immer zu lang ist.
quelle