Wir haben einen NAS-Server in der Firma, für die ich arbeite, der zum Speichern von Fotosessions verwendet wird. Jede Sitzung ist ungefähr 100 GB groß. In den letzten Jahren hat dieser Server mehr als 10 TB Daten gesammelt, und wir erhöhen die Anzahl der Fotoshootings exponentiell. Ich schätze, dass bis Ende nächsten Jahres mehr als 20 TB auf diesem NAS gespeichert sein werden. Wir sichern diesen Server derzeit mit LTO-5-Bändern mit Symantec BackupExec auf Band. Da die Größe dieses Servers zugenommen hat, werden vollständige Sicherungen dieses Servers nicht über Nacht durchgeführt. Hat jemand einen Vorschlag, wie man diese Datenmenge sichert? Sollten wir es auf Band sichern? Gibt es noch andere Optionen, die besser sein könnten?
86
Antworten:
Sie müssen einen Schritt zurücktreten und aufhören zu denken: "Ich habe 20 TB auf meinem NAS, den ich sichern muss!" und entwickeln Sie eine Speicherstrategie, die die Art Ihrer Daten berücksichtigt:
Abhängig von den Antworten auf die letzten beiden Fragen benötigen Sie wahrscheinlich mehr von einem Archivierungssystem als von einem völlig anderen Sicherungssystem.
Daten, die statisch sind (z. B. 2 Jahre alte Bilder, die Sie "nur für den Fall" aufbewahren), müssen nicht jede Nacht oder sogar jede Woche gesichert und archiviert werden. Was Sie tatsächlich tun, mag komplexer sein, aber konzeptionell können alle alten Bilder auf Band (mehrere Kopien!) Abgeschrieben und nicht mehr gesichert werden.
Basierend auf Ihren Kommentaren, einige zusätzliche Gedanken:
Da Sie die Originale jeder Aufnahme unberührt lassen und an einer Kopie arbeiten und davon ausgehen, dass zumindest einige der Originalbilder Blindgänger sind, können Sie möglicherweise die zu sichernde Datenmenge halbieren.
Wenn Sie eine vollständige Sicherung immer noch nicht innerhalb eines beliebigen Zeitfensters abschließen können, können Sie die Schritte in der Regel beschleunigen, indem Sie zuerst eine Disk-to-Disk-Sicherung durchführen und die Sicherungskopie später auf Band kopieren.
quelle
Sie haben zwei Möglichkeiten:
Option 1:
Option 2:
Führen Sie
rsyncjede Stunde aus: old_NAS -> new_NASOder verwenden Sie besser etwas wie rdiff-backup, das rsync + verwendet, um Deltas bei Dateiänderungen zu erhalten (Sie können ältere Versionen der Dateien wiederherstellen).
Alle 6 Monate werden alte Dateien bereinigt, die wie folgt ausgeführt werden:
quelle
Warum müssen Ihre Backups über Nacht abgeschlossen werden? Fileserver Leistung? Möglicherweise können Sie die Bandbreite Ihrer Sicherungssoftware einschränken, um die Auswirkungen während des Tages zu begrenzen. Oder weisen Sie Ihrem NAS eine Schnittstelle zu, über die Sie mit dem Bandlaufwerk kommunizieren können, um die Auswirkungen auf den anderen Datenverkehr zu begrenzen.
Können Sie an Wochenenden vollständige Dumps ausführen und nur inkrementelle Dumps während der Woche ausführen? Wenn das Problem darin besteht, Bänder am Wochenende zu wechseln, wenn niemand in der Nähe ist, kostet eine billige Bandbibliothek / ein billiger Auto-Wechsler viel weniger als jemand, der Bänder wechselt.
Können Sie Ihre Daten in mehrere Gruppen unterteilen, die klein genug sind, um sie in Ihrem Sicherungsfenster zu vervollständigen?
Wir haben ungefähr 50 TB Daten auf unserem NAS und es dauert über eine Woche, um einen vollständigen Speicherauszug des gesamten Objekts mit 2 Bandlaufwerken zu erhalten (ein Volume dauert fast eine Woche, da es viele kleine Dateien enthält). Wir replizieren unsere Daten auf einen zweiten NAS. Unser sekundäres NAS befindet sich vor Ort (jedoch in einem anderen Rechenzentrum als das primäre), sodass wir weiterhin Daten für die Sicherung außerhalb des Standorts auf Band auslagern. Wir führen Backups von diesem sekundären NAS durch, damit Backups niemanden verlangsamen.
Wenn Sie Ihren sekundären NAS weit genug entfernt aufstellen können, ist dies Ihr Backup, ohne dass Bänder erforderlich sind.
quelle
Ich bin nur im Zweifel über die Größe jeder Shootingsitzung, sind es wirklich 100GB / Session? Wie viele Sitzungen absolviert Ihr Unternehmen pro Monat?
Da Sie in der Regel alte Sitzungen speichern, die nicht häufig verwendet werden usw. und diese Informationen wahrscheinlich nicht so häufig wiederherstellen müssen, empfehle ich Ihnen, die Dienste eines Unternehmens zu nutzen, um diese Aufgabe für Sie zu erledigen .
Das Speichern dieser 20 TB über einen Onlinedienst wie Amazon Glacier kostet beispielsweise etwas mehr als 200 USD / Monat. Wenn Sie diese Archive häufig abrufen oder sogar vollständig wiederherstellen müssen, würde dies einige Zeit- / Kostenbeschränkungen mit sich bringen. Wenn Sie diese Dinge nur "um sicherzugehen, dass sie aufbewahrt werden" aufbewahren, könnte die Verwendung eines dritten Teils Ihr Leben erleichtern (und sogar billiger sein als der Kauf eines anderen NAS, von Bändern usw.).
quelle
full backups of this server are not completing overnightDann versuchen Sie inkrementelle Backups? Ein vollständiges Backup alle xx Tage, der Rest inkrementell.
Festplatten sind kostengünstig, schneller als Bänder und können für Backups verwendet werden.
Außerdem gibt es jetzt gute Alternativen für Cloud-Backups, sodass nicht mehr immer schnellere Bänder hinzugefügt werden müssen.
Zum Beispiel:
quelle
Ich denke, die beste Lösung dafür ist, was wir mit unseren Abrechnungsdaten tun, deren Implementierung mit minimalem Aufwand verbunden ist.
Zunächst werden die restlichen Serverdaten gespeichert, die täglich gesichert werden. Unsere Aufbewahrungsfrist für diese Sicherungen beträgt 13 Monate.
Sobald wir nicht mehr damit rechnen, dass die Daten geändert werden müssen (zwei Zahlungsperioden später, IIRC), werden die Daten (per Skript) auf einem Archivvolume gespeichert, das von den regulären Sicherungen ausgeschlossen ist.
Das Archivvolume wird jährlich auf Band gesichert, und die Bänder werden zur unbegrenzten Speicherung an Cintas gesendet.
Dies ermöglicht uns einen einfachen Online-Zugriff auf diese unveränderten Daten (damit wir nicht jedes Mal ein Band aufrufen müssen, wenn ein Buchhalter etwas ansehen möchte), während wir unbestimmte externe Datenarchive verwalten, die wir möglicherweise für immer aufbewahren müssen und ohne unser Backup-System zu zerstören. Klingt so, als ob die gleiche Art der Einrichtung für Sie funktionieren könnte, obwohl Sie möglicherweise die Datenmenge anpassen möchten, die Sie online aufbewahren, je nachdem, ob Sie rechtzeitig auf diese Daten zugreifen möchten - 20 TB Speicher für Unternehmen sind viel teurer als es auf zwei oder drei Sätze von LTO5-Bändern zu archivieren, die Sie in externen Depots speichern.
quelle
Vielleicht können Sie Ihren eigenen Backblaze-Pod bauen : 135 TB für 7384 USD.
Klicken Sie hier, um weitere Informationen zu erhalten: Informationen zum Backblaze-Pod-Bau
Sie können die benötigten Teile kaufen und selbst bauen.
Vielleicht können Sie 3 davon bauen und 2 vor Ort und 1 außerhalb des Standorts behalten. Anschließend können Sie einen Pod als "Online-Daten", den zweiten Pod vor Ort als Backup des ersten Pods und den dritten Pod außerhalb des Standorts als Notfall-Backup außerhalb des Standorts verwenden.
Mit 135 TB Speicherplatz für jeden Pod können Sie sogar darüber nachdenken, den Änderungsverlauf
beizubehalten ... 135 TB / 20 TB = 19 vollständige Sicherungskopie .
Alternativ können Sie 10 vollständige Backups sowie eine lächerliche Menge an differenziellen Backups aufbewahren.
Wenn Sie ein Offsite-Backup wünschen, benötigen Sie natürlich eine große Bandbreite ... :-)
quelle
Mein Kollege hat ein Synology 8-Disk-NAS gekauft. Es läuft ein Hybrid-RAID. Vor ein paar Wochen kaufte er acht 3 TB Seagate Barracuda von NewEgg für je 89 USD. Sie können den Spiegel vom Produktions-NAS über GigaBit auf dieses neue NAS synchronisieren. Da Sie nur die Differenzen übertragen, dauert die Übertragung kürzer. Anschließend können Sie den Backup-NAS verwenden, um vollständige oder inkrementelle Vorgänge durchzuführen. Die Kosten für ein Backup-NAS würden unter 2000 US-Dollar liegen.
quelle