Ich migriere meinen Server von einem Rechenzentrum in ein anderes von den USA nach Großbritannien. Mein Gastgeber sagte, ich sollte in der Lage sein, 11 Megabyte pro Sekunde zu erreichen.
Das Betriebssystem ist Windows Server 2008 an beiden Enden.
Meine durchschnittliche Dateigröße beträgt ca. 100 MB und die Daten werden auf fünf 2-TB-Laufwerke aufgeteilt.
Was wäre der empfohlene Weg, um diese Dateien zu übertragen?
- FTP
- SMB
- Rsync / Robocopy
- Andere?
Ich mache mir keine Sorgen um die Sicherheit, da es sich sowieso um öffentliche Dateien handelt, aber ich möchte nur eine Lösung, die die volle Übertragungsrate von 11 MB / s erreichen kann, um die Gesamtübertragungszeit zu minimieren.
file-transfer
large-data
Paul Hinett
quelle
quelle
Antworten:
Versenden Sie stattdessen Festplatten über den Ozean.
Bei 11 Mbit / s und voller Auslastung haben Sie nur knapp 90 Tage Zeit, um 10 TB zu übertragen.
11 MBit / s = 1,375 MBit / s = 116,015 GB / Tag .
10240 GB / 116,015 GB / Tag = ~ 88,3 Tage .
quelle
Ich würde sagen rsync, bei 11 MB / s sehen Sie 10-14 Tage und selbst wenn Sie unterbrochen werden, startet rsync leicht dort, wo es das letzte Mal gestoppt hat.
Bei 11 Mbit / s würde ich die Festplatten wie oben vorgeschlagen ausliefern :)
quelle
stat
nach meiner Erfahrung hauptsächlich von der Zeit), nicht von den Gesamtdaten. Ich würde keine nennenswerte Wartezeit erwarten (höchstens einige Minuten). Obwohl meine Erfahrung mit Rsync Tops bei etwas unter 5 TB.Rsync natürlich.
Zumindest kannst du nach einer Pause jederzeit weitermachen, und das ohne Schmerzen.
quelle
rsync
ist nicht effizient , nur große Dateien zu kopieren. Für meine Sachen habe ich entwedertar
overnetcat
oderssh
für die Erstübertragung verwendet. Es ist viel schneller und beginnt sofort mit der Übertragung. Dabeirsync
werden zuerst alle Dateien gescannt, was einige Zeit in Anspruch nimmt. Wenn dies unterbrochen wird, können Sie es später noch verwendenrsync
. In der Tat mache ich dies manchmaltar
trotzdem nach, um sicherzustellen, dass alle Berechtigungen, Socket-Dateien usw. korrekt sind.Unterschätzen Sie niemals die Bandbreite eines Kombis voller Bänder
- Trad.
In Ihrem Fall werden Disketten oder Bänder per Kurier verschickt, aber das Prinzip gilt immer noch. Wenn Sie sich keine Gedanken über die Latenz machen, ist dies erheblich billiger als die Netzwerkbandbreite, um 10 TB Daten in einem angemessenen Zeitraum zu übertragen.
quelle
Sie sollten rsync verwenden. Es komprimiert die Daten und dupliziert sie vor dem Senden. Es kann auch Teilübertragungen wieder aufnehmen, was für große Übertragungen sehr wichtig ist.
Es ist wahrscheinlich, dass 10 TB nicht übertragen werden. Wenn es sich um Protokolle und Text handelt, kann dies unter 1 TB liegen. vielleicht weit unter 1 TB.
Es gibt Tools, die eine bessere Komprimierung als rsync erzielen und wahrscheinlich mehr Übereinstimmungen finden. Sie könnten verwenden
lrzip
, etc.Es gibt bestimmte Datentypen, die nicht gut komprimiert werden und keine wörtlichen Dupes enthalten, z. B. Videos und andere Medien. In diesen Fällen machen FTP und rsync fast den gleichen Aufwand.
quelle
Ich weiß, dass dies bereits akzeptiert wird, aber haben Sie darüber nachgedacht, Ihre Festplatten zu einem Rechenzentrum / Provider / Host zu bringen, wo Sie mehr Bandbreite erhalten können? Es kostet Sie wahrscheinlich etwas Geld, aber das Kopieren von 10240 GB auf Sicherungsdisketten und das Senden von kostet Zeit und Geld (2 x Geld).
Außerdem können Sie sicher sein, dass Ihre Festplatten den Transport nicht unterbrechen.
quelle
11 Mbit / s? Dies ist eine ziemliche Einschränkung, die Sie hier haben. In deiner Situation würde ich einfach:
Wenn Sie wirklich keine Lösung haben, um die Bandbreite zu erhöhen, ist der Versand eines physischen Laufwerks viel schneller.
Aus meiner schmerzhaften Erfahrung neigen Festplatten dazu, die Post zu beschädigen ... USB-Sticks sind eine bessere Lösung für häufige Datenübertragungen. In Ihrem Fall wären einige erforderlich :) Senden Sie also 2 Kopien Ihrer Daten auf mehrere Festplatten.
In Anbetracht der Datenmenge, die Sie haben, können Sie auch Laufwerke von einem RAID 5- oder RAID 6-Array senden, wenn Sie auf der anderen Seite dieselbe Hardware / Software zum Anschließen Ihrer Laufwerke haben. In diesem Fall müssen Sie jedoch die Reihenfolge Ihrer Laufwerke angeben und ihre Seriennummern, damit sie bei der Neukonfiguration nicht durcheinander geraten.
quelle
Während ich mich in diesem Fall auf die Antwort "Versand über Festplatten" einigen muss, verwende ich hier eine Kopierlösung, wenn ich zum ersten Mal große Mengen von Dateien kopieren muss:
Es
rsync
ist zwar gut, zwei Datenspeicher synchron zu halten, es verursacht jedoch eine Menge unnötigen Overhead für die anfängliche Übertragung. Ich dachte mir, dass der schnellste Weg der ist, zutar
dem weitergeleitet wirdnetcat
. Auf der Empfängerseite können Sie auchnetcat
im Listen- Modus die eingehenden Daten einer Extraktion zuführentar
. Der Vorteil besteht darin, dass dastar
Senden sofort beginnt undnetcat
als einfacher TCP-Stream ohne zusätzlichen Protokollaufwand auf höherer Ebene gesendet wird. Dies sollte so schnell wie möglich sein. Es ist jedoch nicht einfach möglich, eine unterbrochene Übertragung an der letzten Position neu zu starten.Es ist auch einfach möglich, die Daten für die Übertragung zu komprimieren, indem Sie die richtigen
tar
Optionen verwenden oder ein Komprimierungswerkzeug in die Pipes einfügen. Beachten Sie, dassnetcat
das Datum unverschlüsselt gesendet wird. In Fällen, in denen dies nicht möglich ist,ssh
kann stattdessen eine verschlüsselte Verbindung verwendet werden (tar <options> | ssh <target> -c 'tar -x <options>'
).Wenn alle Daten übertragen werden,
rsync
können Sie sicherstellen, dass alle zwischenzeitlich aktualisierten Dateien synchronisiert werden. Auch IIRC erstellttar
keine Sockets, die sonst verloren gehen, aber sie werden sowieso nicht wirklich für Datencenter-Daten verwendet.quelle
Haben Sie an IPoAC gedacht ?
quelle
Wieder ist der erste Vorschlag, die Laufwerke zu versenden.
Der zweite Vorschlag ist, rsync für rsyncd zu verwenden, nicht über SSH. Ich habe viele Dinge ausprobiert und es ist normalerweise das schnellste. Denken Sie daran, die Komprimierung zu aktivieren. Sehen Sie sich auch an, wie Sie die Größe des Rsync-Puffers erhöhen oder verringern , um die optimale Übertragungsrate zu erhalten. Es kann auch hilfreich sein, die MTU-Größe zu erhöhen . Dies hilft nur, wenn Router unterwegs Ihre Pakete nicht fragmentieren. Es gibt Möglichkeiten, um festzustellen, ob dies der Fall ist.
Leider gibt es keine Einstellung, die immer die beste ist. Sie müssen experimentieren, um herauszufinden, was in Ihrer Situation am besten funktioniert.
quelle
Sie haben erwähnt, dass auf den Servern Windows 2008 ausgeführt wird. Wäre Microsoft DFS geeignet? Am unteren Ende befindet sich etwas Magie, die versucht, so viel Bandbreite wie möglich aus der Verbindung herauszuholen, und außerdem über Komprimierung und Deduplizierung (IIRC) verfügt.
Wohlgemerkt, Festplatten, DVDs oder Blu-Rays wären schneller ... Meine Berechnung beträgt 11 Tage bei vollen 11 MB / s ...
quelle
Sie können dafür einen Torrent verwenden.
Erstellen Sie einen privaten Torrent an einem Ende und verwenden Sie den Client am anderen Ende.
Obwohl eine Verschlüsselung vorhanden ist, müssen Sie dies anhand Ihrer Anforderungen überprüfen.
quelle