Wie sichern Sie einen Speicherserver?

Ich möchte einen sehr großen Speicherserver implementieren, der als Live-NAS für mehrere andere Server (alle Linux-basiert) verwendet werden soll.

Mit sehr groß meine ich zwischen 4 TB und 20 TB nutzbaren Speicherplatz (obwohl es unwahrscheinlich ist, dass wir es tatsächlich auf 20 TB bringen).

Der Speicherserver wird aus Gründen der Datensicherheit und Leistung RAID 10 sein, wir benötigen jedoch weiterhin eine Sicherungslösung, die eine Sicherung außerhalb des Standorts umfasst.

Meine Frage ist: Wie sichern Sie so viele Daten?

Es ist nicht so, dass ich einfach eine tragbare Festplatte anschließen und die Dateien übertragen kann. Wir haben derzeit keine anderen Geräte mit so viel Speicherplatz.

Muss ich einen zweiten externen Speicherserver budgetieren oder gibt es eine bessere Lösung?

Es gibt viele Möglichkeiten, mit Daten dieser Größe umzugehen. Vieles hängt von Ihrer Umgebung ab und davon, wie viel Geld Sie ausgeben möchten. Im Allgemeinen gibt es einige allgemeine Strategien zum Abrufen der Daten vom Server:

• Über das Ethernet Wie auf der Verpackung angegeben, werden Daten zur Verarbeitung an Some Where Else gestreamt. Das Kopieren von 20 TB über 1 GbE dauert lange, ist jedoch möglich. Hardware kann Abhilfe schaffen (z. B. 10-GbE-Verbindungen oder in einigen Fällen NIC-Bonding).
• Über das Speichersubsystem Wenn Sie sich in Fibre Channel befinden, senden Sie es an ein anderes Gerät im FC-Netzwerk. Wenn Sie über SAS verfügen, senden Sie es an ein an SAS angeschlossenes Gerät. Im Allgemeinen schneller als Ethernet.
• Senden Sie es an ein anderes Festplatten-Array. Senden Sie es an einen anderen Speicherblock, der an denselben Server angeschlossen ist.

Das ist die 100 km-Ansicht. Sobald Sie anfangen zu zoomen, werden die Dinge viel fragmentierter. Wie bereits erwähnt, handelt es sich bei LTO5 um eine spezielle Bandtechnologie, die für diese Art von Lasten mit hoher Dichte entwickelt wurde. Ein anderes identisches Speicherarray ist ein gutes Ziel, insbesondere wenn Sie GlusterFS oder DRBD verwenden können, um die Daten dort abzurufen. Auch, wenn Sie ein Backup benötigen Rotation oder einfach nur die Fähigkeit zu halten für den Fall , läuft das Array ausfällt beeinflussen , was Sie an ihren Platz setzen.

Sobald Sie sich für eine 100-km-Ansicht entschieden haben, wird der Einstieg in die Software die nächste große Aufgabe sein. Faktoren, die dies beeinflussen, sind, was Sie in erster Linie auf Ihrem Speicherserver installieren können (wenn es sich um eine NetApp handelt, ist dies eine Sache, ein Linux-Server mit einem Haufen Speicher ist eine andere Sache, ebenso wie ein Windows-Server mit einem Haufen Speicher). , welche Hardware Sie auswählen (nicht alle FOSS-Backup-Pakete können beispielsweise mit Bandbibliotheken gut umgehen) und welche Art von Backup-Speicherung Sie benötigen.

Sie müssen wirklich herausfinden, welche Art von Disaster Recovery Sie möchten. Die einfache Live-Replikation ist einfacher, ermöglicht jedoch keine Wiederherstellung ab der letzten Woche. Wenn die Fähigkeit zur Wiederherstellung aus der letzten Woche für Sie wichtig ist, müssen Sie für diese Art von Dingen entwerfen. Laut Gesetz (in den USA und anderswo) müssen einige Daten über einen Zeitraum von mindestens 7 Jahren aufbewahrt werden.

Einfache Replikation ist am einfachsten. Dafür wurde DRBD entwickelt. Sobald die Erstkopie fertig ist, werden nur noch Änderungen gesendet. Komplizierende Faktoren sind hier die Netzwerklokalität, wenn sich Ihr zweites Array nicht in der Nähe des primären DRBD befindet. Sie benötigen einen zweiten Speicherserver mit mindestens so viel Speicherplatz wie der erste.

Informationen zur Bandsicherung ...

LTO5 kann 1,5 TB Daten ohne Komprimierung speichern. Das Füttern dieser Monster erfordert ein sehr schnelles Netzwerk, entweder Fibre Channel oder 6-Gbit-SAS. Da Sie im Notfall mehr als 1,5 TB sichern müssen, müssen Sie sich mit Autoloadern befassen (hier ein Beispiel: Link , ein 24-Slot-Autoloader mit 1 Laufwerk von HP). Mit einer Software, die sie unterstützt, können sie das Wechseln von Bändern während des Backups für Sie erledigen. Sie sind großartig. Sie müssen immer noch Bänder herausziehen, um sie an einen anderen Ort zu senden, aber das ist ein verdammter Anblick, als die ganze Nacht herumzuhängen, um Bänder selbst zu laden, wenn das Backup dies erfordert.

Wenn das Band Ihnen das " Vermächtnis " verleiht, ist eine virtuelle Bandbibliothek möglicherweise schneller (wie diese von Quantum: Link ). Diese geben vor, Bandbibliotheken für Sicherungssoftware zu sein, während sie mithilfe robuster (Sie hoffen) Deduplizierungstechniken tatsächlich auf der Festplatte gespeichert werden. Die schickeren kopieren sogar virtuelle Bänder für Sie auf reale Bänder, wenn Sie so etwas mögen, was für Rotationen außerhalb des Standorts sehr praktisch sein kann.

Wenn Sie nicht einmal mit virtuellen Bändern herumalbern, sondern dennoch Backups direkt auf der Festplatte durchführen möchten, benötigen Sie ein Speicher-Array, das groß genug ist, um diese 20 TB zu bewältigen, sowie jede Menge Daten, die Sie benötigen im Griff behalten. Verschiedene Backup-Pakete behandeln dies unterschiedlich. Einige Deduplizierungstechnologien sind wirklich nett, andere sind hacky kludges. Ich persönlich kenne den Stand der FOSS Backup-Softwarepakete in diesem Bereich nicht (ich habe von Bacula gehört), aber sie könnten ausreichend sein. In vielen kommerziellen Sicherungspaketen müssen lokale Agenten auf Servern installiert werden, die gesichert werden sollen, um den Durchsatz zu erhöhen. Dies hat viele Vorteile.

LTO-5 Jukebox? Sie würden zwischen drei und 15 Bänder benötigen, um dieses Array zu sichern, was keine verrückte Zahl ist. Die Jukebox sorgt dafür, dass die Bänder für Sie gewechselt werden, und eine gute Backup-Software (z. B. Bacula) merkt sich, welche Dateien sich auf welchem ​​Band befinden.

Sie sollten auch die Zeit in Betracht ziehen, die zum Sichern eines so großen Dateisystems erforderlich ist, da es sehr wahrscheinlich ist, dass sich der FS in diesem Zeitraum ändert. Für optimale Ergebnisse ist ein Dateisystem, das Snapshots unterstützt, sehr hilfreich. Sie können also sofort einen Snapshot erstellen und vollständige oder inkrementelle Sicherungen durchführen, anstatt das Live-Dateisystem zu verwenden.

Sie sollten sich wahrscheinlich ansehen Sichern auf Festplatte befassen , da das Sichern von Bändern viel Zeit in nimmt und der sequenzielle Zugriff ewig dauern wird.

Differential unbedingt ausnutzen oder inkrementellen Sicherungen - sichern Sie nur Änderungen, unabhängig von der Häufigkeit, die für Sie sinnvoll ist.

Wahrscheinlich wäre die ideale Lösung ein 2. ähnlich großer Server an einem anderen Standort , an dem regelmäßig inkrementelle Sicherungen gesendet werden, die bei einem Ausfall des Hauptservers schnell ausgetauscht werden könnten. Eine andere Option wäre jedoch die Verwendung von Wechseldatenträgern vor Ort, die dann zur Speicherung außerhalb des Standorts abgelegt werden.

Wenn Sie mit so vielen Daten arbeiten, ist dies auch sinnvoll Ihre Sicherungen in kleinere Sicherungsjobs aufzuteilen. Wenn nicht alle täglich gesichert werden können, sollten Sie Ihre Sicherungen so staffeln, dass Satz A eines Tages gesichert wird, und setze B am nächsten.

Denken Sie immer an das Wiederherstellungsverfahren . Wir haben uns einmal gestürzt, als wir eine Datei von einem Backup-Job mit mehreren hundert Giganten wiederherstellen mussten, der viel Speicher und viel Zeit in Anspruch nahm, um den Backup-Index neu zu erstellen und wiederherzustellen. Am Ende konnten wir es nicht in einem Tag abschließen und mussten einen dedizierten Wiederherstellungsserver erstellen, damit unser Hauptsicherungsserver seine nächtlichen Jobs fortsetzen konnte!

--hinzugefügt--

Sie möchten auch über Deduplizierungstechnologien nachdenken , die viel Platz einsparen können, indem Sie nicht dieselben Informationen mehrmals für mehrere Benutzer sichern. Viele Backup-Lösungen oder Dateisysteme bieten Deduplizierung als Teil ihrer Funktionalität an.

Zählen Sie zunächst die Risiken auf, gegen die Sie sich schützen. Einige häufige Risiken:

• Katastrophe: Etwas sehr Unglückliches passiert mit Ihrer gesamten Site.
• Menschliche Fehler (dies ist derjenige, der _all_the_time_ passiert):
  • Jemand beschließt, die "Hot-Swap" -Funktion Ihres Speicherservers auf eine vom Hersteller nicht vorgesehene Weise auszuüben.
  • Jemand führt einen Prozess aus, bei dem Daten unbemerkt beschädigt werden. Diese werden einige Monate lang zuverlässig gesichert, bevor das Problem bemerkt wird.
  • Jemand löscht den wichtigen Bericht, der in einer Stunde fällig ist und Tausende von Dollar wert ist.

Bewerten Sie dann die Kosten der verschiedenen Risikovermeidungslösungen, z.

• Offsite-Onlinesicherung (Remote Mirror): Vor Katastrophen geschützt, einige (aber nicht alle) menschliche Fehler (immer noch online).
• Off-Site-Off-Line-Speicher (Bänder): Vor Katastrophen geschützt, Daten lassen sich nur schwer und schnell wiederherstellen.
• On-Site-Onlinesicherung (Spiegelung): Vor menschlichem Versagen, Hardwarefehlern und Katastrophenrisiken geschützt.
• Offline-Sicherung vor Ort (Bänder im Bandwechsler): Sicher vor den meisten menschlichen Fehlern und den meisten Hardwarefehlern.

Bewerten Sie dann die Rotationsstrategien (wie weit möchten Sie zurück, wie viel Daten können Sie sich leisten, zu verlieren).

Wählen Sie dann den Wert Ihrer Daten aus.

Ich habe einen Kunden mit zwei ähnlichen 12-TB-Systemen in zwei verschiedenen Gebäuden, die mit 1 GB verbunden sind. Eines ist das Produktionssystem; Es wird inkrementell (mit täglichen Snapshots) mit dem großartigen Dienstprogramm rdiff-backup auf der anderen Seite gesichert . rdiff-backup muss in Ihrem Standarddistributionsrepository verfügbar sein.

Offsite-Onlinesicherung (Remote Mirror)

Verwenden Sie rsync zwar ssh (nur Änderungen) - das erste Backup muss lokal durchgeführt werden, aber danach wird das Backup abhängig von den Änderungen zum Kinderspiel

Wenn Sie Versionen mit Änderungs- rdiff-Backup behalten müssen

http://www.nongnu.org/rdiff-backup/

Das btrfs-Dateisystem unter Linux klingt vielversprechend, befindet sich aber noch in einer intensiven Entwicklung

Sehen Sie sich Ihren tatsächlichen "Inhalt" an und wie oft er sich ändert, bevor Sie Ihre Strategie planen. Oftmals werden dieselben Daten einfach ohne guten Grund wöchentlich immer wieder auf Band übertragen.

Die Deduplizierungstechnologien einiger Hersteller können Snapshots ermöglichen, um Sie vor einzelnen Dateiwiederherstellungen zu bewahren. Zum Schutz benötigen Sie jedoch immer einen externen Server.