Wie lange würde diese Dateiübertragung dauern?

Ich habe 12 Stunden Zeit, um 2 TB Daten zu sichern.

Ich möchte ein Backup auf eine Netzwerkfreigabe auf einem Computer mit WD 2TB Black 7200rpm-Consumer-Festplatten durchführen. Gigabit Ethernet.

Welche anderen Variablen müsste ich berücksichtigen, um zu sehen, ob dies machbar ist? Wie würde ich diese Berechnung einrichten?

Die beiden Hauptfaktoren sind, wie schnell die Quelle Daten pitchen kann und wie schnell das empfangende Ende sie festschreiben kann. GigE ist ein wirklich guter Start, was theoretisch bedeutet, dass es nur 4,7 Stunden dauern kann. Faktoren, die dies erhöhen können:

• Wenn die Netzwerkpuffer des empfangenden Endes aufgebraucht sind (Quelle zu schnell).
• Wenn das Sendeende stark fragmentiert ist, können keine Daten mit Zeilengeschwindigkeit übertragen werden.
• Wenn das Empfangsende alles andere als leicht fragmentiert ist, kann es möglicherweise nicht schnell genug schreiben.
• Etwas in Ihrem Netzwerkpfad überlastet die Bandbreite (einige versteckte Uplink-Ports werden mit anderem Datenverkehr gesättigt).

Nach meiner Berechnung auf der Rückseite des Umschlags muss ein Streaming mit ca. 49 MB / Sekunde durchgeführt werden, damit es funktioniert. Wenn diese Festplatte nackt ist und der Netzwerkstapel überhaupt in Ordnung ist, sind es wahrscheinlich die Quellfragmentierungsstufen, die die endgültige Geschwindigkeit bestimmen.

Bearbeiten : Aus Kommentaren geht hervor, dass Sie ein Backup-to-Disk-System planen.

Noch ein paar Dinge zu beachten. Die Verwendung mehrerer Ziellaufwerke in einer Stripe-Konfiguration ist eine gute Möglichkeit, den Suchvorgang zu parallelisieren und den Fragmentierungsaufwand zu verringern. RAID10 ist die beste Lösung dafür, obwohl Raid5 / 6 funktionieren kann, wenn Ihre RAID-Karte schnell genug ist, um damit umzugehen. Wenn dies nicht der Fall ist, ist RAID10 Ihre einzige überflüssige Hoffnung. In diesen Situationen können Laufwerke mit einer Drehzahl von 7,2 KB wirklich verwendet werden. Ich mache das gerade, aber mit 500 GB-Laufwerken sind es keine Laufwerke mit 2 TB. Sie möchten wirklich, wirklich sicherstellen, dass diese Laufwerke so oft wie möglich sequentiell schreiben, und zufällige Schreibvorgänge reduzieren.

Zufällige Schreibvorgänge werden auf verschiedene Arten verursacht. Wenn Ihr Backup-System nur Dateien an einen neuen Speicherort kopiert, erstellen Sie nur Milliarden von Dateien, und Backups sind in diesem Fall unvermeidlich zufällig. Sie möchten Backup-Systeme vermeiden, die dies tun. Wenn Ihr Backup-System große Archivdateien erstellt (z. B. 10 GB), werden diese Dateien durch zufällige E / A-Vorgänge fragmentiert.

Das Vermeiden der Fragmentierung großer Dateien erfordert einige Schritte:

• Stellen Sie sicher, dass jeweils nur eine Datei geschrieben wird.
  • Es gibt einige Ausnahmen, wenn Sie das richtige Dateisystem unter Linux ausführen, aber ich weiß nicht, ob dies der Fall ist. Wenn Sie NTFS verwenden, behalten Sie einen Schreiber.
• Es muss genügend freier Speicherplatz vorhanden sein, damit eine große Datei in einem Block geschrieben werden kann.
  • Behalten Sie nach einer Weile das Fragmentierungsdiagramm im Auge.
• Wenn möglich, konfigurieren Sie Ihr Backup-System so, dass vor der Verwendung die gesamte Datei erstellt wird. Möglicherweise erhalten Sie 10 GB große Dateien, die größtenteils leer sind, aber zumindest zusammenhängend sind und mit zunehmendem Alter des Systems dazu beitragen, die Kriechströme zu verringern.

Wenn Ihre Verbindung 1000 Megabit unterstützt, würde die Übertragung all dieser Daten ungefähr 4,5 Stunden dauern (1 Megabit entspricht 0,125 MB). Dies könnte also funktionieren, aber je nach Netzwerklayout wird für diese Zeit möglicherweise ein großer Teil der Netzwerkbandbreite beansprucht.

Eine bessere Alternative für die Sicherung, insbesondere wenn Sie nur Änderungen sichern möchten und nicht alle 12 Stunden 2 TB Daten produzieren, besteht darin, nur die tatsächlichen Änderungen zu übertragen. Ich schlage vor, Sie schauen sich rsnapshot an, das eine nette Hülle ist rsync. Auf diese Weise führen Sie die vollständige lange Übertragung zu Beginn nur einmal durch, und die Aktualisierung der Schnappschüsse erfolgt viel schneller. Es gibt bereits einige rsnapshot-Tutorials für Superuser.