Ich habe mir alle vorherigen ähnlichen Fragen angesehen, aber die Antworten schienen überall zu sein und niemand hat viele Daten verschoben (100 GB unterscheiden sich von 10 TB).
Ich habe ungefähr 10 TB, die ich brauche, um von einem RAID-Array zu einem anderen zu wechseln, Gigabit-Ethernet, die freie Enzyklopädie, XFS- Dateisysteme. Meine größte Sorge ist, dass der Transfer auf halbem Weg stirbt und nicht einfach wieder aufgenommen werden kann. Geschwindigkeit wäre schön, aber es ist viel wichtiger, die Übertragung sicherzustellen.
Normalerweise würde ich nur tar & netcat verwenden, aber das RAID-Array, von dem ich mich bewege, war in letzter Zeit sehr unzuverlässig, und ich muss in der Lage sein, es wiederherzustellen und fortzusetzen, wenn es während des Prozesses abfällt. Sollte ich mir rsync ansehen ?
Wenn ich mir das etwas genauer anschaue, denke ich, dass rsync möglicherweise zu langsam ist, und ich möchte vermeiden, dass dies 30 Tage oder länger dauert . Jetzt suche ich nach Vorschlägen, wie die Übertragung mit netcat überwacht / fortgesetzt werden kann .
quelle
--block-size=SIZE
helfen?Antworten:
yep, rsync
Außerhalb von Oddball wurden kürzlich die asynchronen Funktionen von DRBD veröffentlicht.
quelle
Unterschätzen Sie niemals die Bandbreite eines Kombis voller Bänder. 10 TB wären mit relativ billigen NAS-Geräten für Endverbraucher möglich, wenn Sie sie in Blöcke (z. B. 2 TB) aufteilen können. Wenn dies einmalig ist, kann ein halbmanueller Prozess ausgeführt werden, und ein 2-TB-NAS kostet nur ein paar hundert Dollar.
Wenn Sie einen laufenden Prozess benötigen, können Sie RSYNC nach der ersten Übertragung einrichten.
quelle
Ich musste diese Art von Aufgabe vor einigen Monaten erledigen. Ich habe parallel rsync verwendet, um den Prozess zu beschleunigen. Es teilt die zu übertragenden / zu synchronisierenden Dateien in Blöcke auf und kann jederzeit fortgesetzt werden. Siehe Link unten für paralleles rsync-Skript.
https://gist.github.com/rcoup/5358786
quelle
Sie können versuchen, einen FTP-Server auf dem Server mit den zu kopierenden Daten einzurichten und einen FTP-Client mit "Resume" auf der Empfangsseite zu verwenden. Ich benutze Filezilla Server und Client und ich benutze die "Resume" -Funktion des Clients ziemlich oft und es hat immer ohne Probleme funktioniert.
quelle