Wie gehen Sie mit der Datenarchivierung um? [geschlossen]

9

Backups sind eine Sache, aber Langzeitarchivierung ist eine andere. Beispielsweise müssen Sie möglicherweise E-Mails 7 Jahre lang speichern oder alle Projektdaten auf unbestimmte Zeit aufbewahren. Früher habe ich Archive auf Band gespeichert, aber dann wurden Bänder zerstört (Laufwerke reißen das Band heraus). Also ... schreibe auf 2 Bänder, höre ich dich sagen. Tun das andere? Haben Sie 2 (oder mehr) Bänder mit denselben Daten für Redundanz?

Das andere Problem ist jedoch, dass Bänder normalerweise nicht von verschiedenen Anbietern von Sicherungssoftware gelesen werden können. Wenn Sie beispielsweise über 10 Jahre von Arcserve -> Backup Exec -> Commvault wechseln, müssen Sie alle drei Systeme behalten, damit Sie alte Daten wiederherstellen können. Ebenso für Hardware. Alte Bänder sind möglicherweise nicht mit einem Barcode versehen. Möglicherweise nicht kompatibel mit der neuen Bibliothek usw. usw. Behalten Sie also alte Bandhardware UND alte Software für den Fall, dass Sie möglicherweise eine 10 Jahre alte Datei wiederherstellen müssen?

Oder ... migrieren Sie beim Wechsel zu einem neuen Sicherungssystem alle archivierten Daten auf das neue System und archivieren sie erneut auf neuen Bändern? Das könnte ein großer Job sein.

Irgendwelche Gedanken?

PowerApp101
quelle
Wie viele Daten möchten Sie archivieren?
GreenKiwi

Antworten:

3

Über wie viele Daten sprechen wir? Unsere "Archiv" -Daten sind so klein, dass wir sie nur im Live-Speicher (auf einem NAS-Gerät) aufbewahren, der mit den üblichen Live-Daten gesichert wird. Sie existieren also genauso wie unsere üblichen Daten und unterliegen denselben Wiederherstellungstechniken ohne sich Sorgen machen zu müssen, dass die jahrzehntealte Technologie erhalten bleibt. Wenn unsere Live-Daten auf eine neue Speicherplattform verschoben werden, wird das Archiv mitgeschaltet. Wir haben die Berechtigungen für Archivdaten auch so festgelegt, dass nur ein Mitglied der Archivsicherheitsgruppe (von der es nur sehr wenige Mitglieder gibt) Zugriff hat, um etwas aus diesen Ordnern zu entfernen.

Wenn Sie mit mehr Daten arbeiten, als vernünftigerweise im Live-Speicher aufbewahrt werden können, ist Band möglicherweise die beste Wahl für die Langzeitspeicherung, zusammen mit der Aufbewahrung von mindestens zwei Kopien an verschiedenen kontrollierten Speicherorten. Bringen Sie sie alle paar Jahre heraus, um sicherzustellen, dass die Medien noch lesbar sind, und migrieren Sie von älteren Medien zu neuen Medien, wenn Sie den Anbieter wechseln, um sicherzustellen, dass Sie weiterhin auf die Daten zugreifen können.

Justin Scott
quelle
1
Archive sind ungefähr 3 oder 4 TB. Dies ist zu viel, um es als Teil eines regulären Backups zu sichern. Es würde jede Woche viele zusätzliche Bänder erfordern, was eine Verschwendung ist, da es sich nie ändert. Und wir haben sowieso keinen freien SAN-Speicher.
PowerApp101
1
Für 3-4 TB würde ich ein paar externe Laufwerke mit 1,0-1,5 TB aufnehmen und zwei Sätze von Sicherungskopien direkt auf den Laufwerken erstellen. Seagate stellt ein Gehäuse her, das 4 1-TB-SATA-Laufwerke aufnehmen und den Zugriff über eine einzige USB-Verbindung ermöglicht. Sie können zwei davon laden und jeweils an verschiedenen Orten platzieren. Bringen Sie sie trotzdem alle ein oder zwei Jahre heraus, um sicherzustellen, dass sie weiterhin funktionieren, und ersetzen Sie die Laufwerke nach Bedarf. Je nach Anbieter sind Bänder möglicherweise günstiger.
Justin Scott
Ja, ich denke, das ist eine plausible Lösung in diesen Tagen der billigen Festplatte. Ich würde mich gerne vom Band entfernen, es ist einfach zu unzuverlässig (CRC-Fehler, Bandbruch, Etikettenfehler usw.).
PowerApp101
Ja, ich würde mit dieser Option gehen. Der Speicherplatz auf dem Laufwerk ist heutzutage so günstig, dass die Daten in einem redundanten System gespeichert werden müssen.
GreenKiwi
1
Eine 4-TB-Sicherung über USB würde fast 20 Stunden dauern. Haben Sie kein Fenster, in dem Sie den Auftrag abschließen können, oder ändern sich Ihre Daten, wie Sie sagten, nie? Wenn Sie ein Fenster haben, würde ich mit etwas mit einer höheren Datenrate gehen.
JohnyD
3

In meinem Fall machen wir Archive auf Band, und ich werde Ihnen sagen, warum es für uns sinnvoll ist.

Erstens ist die von uns verwendete Software Tivoli Storage Manager zweifellos die Software, die wir auf absehbare Zeit verwenden werden. Meiner Meinung nach ist TSM die Spitze der Nahrungskette in Bezug auf Enterprise-Backup-Software, daher besteht für uns das Problem des Wechsels zu einer anderen Softwareplattform relativ wenig.

Davon abgesehen unterhalten wir einige Langzeitarchive, und wir haben verschiedene Möglichkeiten, dies zu tun. Zum Glück verwenden wir einige der neuesten Bandtechnologien, die mehr als 1 TB pro Kassette speichern können. Daher ist es kein Problem, eine große Anzahl von Archiven in der Bibliothek zu haben.

  • Archivieren Sie auf lokalen Bändern und kopieren Sie diese Archive in unser alternatives Rechenzentrum, wobei sich die Archivbänder in der Bandbibliothek befinden.

Wir tun dies für bestimmte Datentypen, da die Daten regelmäßig wiederhergestellt werden und wichtig genug sind, um zwei Kopien zu erfordern.

  • Archivieren Sie auf lokalen Bändern, jedoch nicht auf Remote-Bändern, und lassen Sie die Bänder in der Bibliothek.

Wir tun dies für etwas weniger wichtige Daten, die regelmäßig wiederhergestellt werden müssen.

  • Archivieren Sie auf lokalem Band und senden Sie sie zur Speicherung außerhalb des Standorts.

Die oben genannten Praktiken haben in der Vergangenheit für uns ziemlich gut funktioniert. Wir sind vor ein paar Jahren auf eine völlig andere Bandtechnologie umgestiegen, und es war ein bisschen Arbeit, die Daten zu verschieben, aber es war wirklich keine große Sache. In TSM war es buchstäblich ein Befehl pro Server für Archive, und er wurde ausgeführt. Es könnte ein paar Tage dauern, bis es läuft, aber es war für niemanden eine aktive Arbeit.

Die Welle der Zukunft ist jedoch offensichtlich der festplattenbasierte Speicher.

Sobald sich die Gelegenheit ergibt, werde ich ein Festplattenarray in einem sicheren Speicher zusammenstellen und Archive vom Typ Langzeitüberwachung auf ein solches Gerät kopieren.

WerkkreW
quelle
Gute Ideen. Wir haben tatsächlich ein ähnliches Setup. Wir haben 2 Remote-Einrichtungen mit Bandbibliotheken. Wir verwenden Commvault, ähnlich wie TSM, denke ich. Die Sache ist, wie definieren Sie "etwas weniger wichtige Daten". Es ist wichtig für jemanden! Und es könnte geschäftskritisch sein, ohne dass Sie es merken.
PowerApp101
Auf dem Festplattenarray sollten Sie sich ZFS unter Solaris oder NetApp ansehen, das regelmäßig die Prüfsummen pro Block überprüft und so die Wahrscheinlichkeit von Bitfäule erheblich verringert. Jeder Archivierungsansatz, der Bit-Rot nicht berücksichtigt, scheint mir mangelhaft.
RichVel
0

Sie können sich auch eine Lösung wie Data Domain (jetzt NetApp) ansehen . Sie archivieren und führen eine erweiterte Komprimierung durch, die sie DeDupe nennen, wobei sie nach ähnlichen Datenfehlern suchen und sehr hohe Komprimierungsraten erzielen.

Welche Art von Daten möchten Sie sichern? Sind das alles "zufällige" Daten wie Video oder Musik? Oder sind es Daten, die sich für eine Komprimierung eignen könnten?

GreenKiwi
quelle
Ich vermute, es würde zu viel kosten, wie Avamar. Wir verwenden die Commvault-Software, die auch DeDupe ausführt, wenn Sie die Dollars ausgeben, die wir nicht haben. Verdammt du GFC!
PowerApp101
0

Fahren Sie mit der neuen Archivierungslösung fort und bewahren Sie die Bänder so lange auf, wie Sie diese Daten benötigen. Wenn Sie es dauerhaft benötigen, können Sie es auf die Festplatte migrieren. Mit Festplattensicherungen ist die Migration auf zukünftige Medien erheblich einfacher.

In einem Jahr oder vielleicht in zwei Jahren können Sie damit beginnen, Bänder zu ignorieren, wenn diese Sicherungen nicht mehr benötigt werden.

Die Neuimplementierung ist ein großes Unterfangen, wenn die Zeit Ihr Problem für Sie löst. Führen Sie die Kostenanalyse durch, wenn Sie Kosten für das Speichern der Sicherungen und / oder der Softwarelizenzen haben, um mit diesen zu arbeiten.

Martin Murphy
quelle
0

Ihr Problem bei der Datenarchivierung, um Ihr Rätsel zu vereinfachen, scheint die zukünftige Kompatibilität alter Bänder mit neuer Hardware zu sein.

Meine Lösung: Wählen Sie nur einen Anbieter mit einer vollständigen Lösung (Software und Hardware), von der Sie vertrauen, dass sie ihr Bestes tut, um Legacy-Kompatibilität zu bieten.

Und natürlich einen sehr guten Preisvertrag bekommen, wenn man deine Treue berücksichtigt;)


quelle