Was ist die sicherste und kostengünstigste Methode zum Speichern von 10 Terabyte Daten?

Ich bin Mitglied einer Produktionsfirma und wir bereiten uns auf unseren ersten Spielfilm vor. Wir haben Methoden zur Datenspeicherung erörtert, um alle unsere Originalinhalte (so lange wie möglich) zu schützen. Obwohl wir verstehen, dass Daten niemals 100% sicher sind, möchten wir die sicherste Lösung für uns finden.

Wir haben überlegt:

• 16 TB NAS für die Speicherung vor Ort

• 4-5 2-TB-Festplatten (billig, aber nicht redundant), kopieren Sie das Originalmaterial auf die Laufwerke und versiegeln Sie es dann in einem statikfreien Beutel

• Brennen Sie Daten auf Blu-Ray-Disks (zeitaufwendig und teuer: 200 Disks == 5000 US-Dollar)

• Bandlaufwerk (e)?

Ich weiß am wenigsten über Bandlaufwerke Bescheid, abgesehen von der Tatsache, dass sie zuverlässiger sind als Festplatten. Jede Erfahrung / jedes Wissen mit dieser Datenmenge wird sehr geschätzt.

Dies setzt voraus, dass Sie ein Archiv anstatt eines regulären Backups oder von Live-Daten verwenden.

Nehmen Sie einen Satz SATA-Festplatten (1 oder 2 TB) und einige Extras. Kopieren Sie Ihre Daten auf die Datenträger. Verwenden Sie QuickPar (oder einen Archiver, der Paritätsvolumes unterstützt), um zusätzliche Paritätsdateien zu erstellen. Verteilen Sie Paritätsdateien auf Ihre Festplatten.

Mit den Paritätsinformationen können Sie Dateien rekonstruieren, wenn noch genügend Paritätsdateien vorhanden sind. Wenn eine Festplatte stirbt, andere mit Paritätsinformationen jedoch weiterhin funktionieren, können Sie die Paritätsdateien verwenden, um das Original zu rekonstruieren.

Machen Sie dies für mehr Redundanz zweimal und speichern Sie es an verschiedenen Orten.

Wenn Sie wirklich paranoid sind, bewahren Sie an jedem Standort auch eine PCI- und PCI Express-Karte für SATA-Controller auf!

Edit: Heck, wenn Paranoia ist, was es geht, gehen Sie das ganze Schwein und speichern Sie einen PC mit Gigabit-Ethernet an jedem Standort, der in der Lage ist, die Festplatten zu lesen!

Die von uns verwendeten LTO4-Laufwerke können 800 GB pro Band aufnehmen. Der Nachteil sind die Kosten für die Laufwerke selbst. Wenn Sie die 5.000 US-Dollar für Blu-Ray-Disks unterschreiten, werden Sie die Kosten für LTO4 nicht mögen. Andererseits sind die Kartagen selbst auf GB-Basis ziemlich billig, sodass Sie eine Menge Kopien aufbewahren können. Diese Bänder haben eine gute Haltbarkeit, aber Sie müssen planen, sie auf ein neues Medium zu verschieben, wenn Sie Ihr Bandlaufwerk ersetzen. Nach der Beschreibung der Verwendung dieses Speichers halte ich Klebeband nicht für eine gute Lösung. Nur wenn dies eine Backup-Lösung anstelle einer Archivierungslösung ist . Unterschiedliche Probleme.

Sie können eine Art Cloud-basierten Backup-Anbieter in Betracht ziehen, wenn Ihr täglicher Netzwechsel klein genug ist. Dies hängt natürlich davon ab, wie leistungsfähig Ihre Internetverbindung ist, und das Wiederherstellen der Verbindung kann ebenso schmerzhaft sein. Diese Dienste sind ziemlich neu, daher ist nicht bekannt, wie sie mit dem Insolvenzproblem für Ihre Daten umgehen. Was passiert damit, wenn sie ihr Geschäft aufgeben?

Lokaler Festplattenspeicher ist definitiv ein guter Weg. Ein Laufwerksgehäuse mit einfach auszutauschenden Laufwerken ist wahrscheinlich die beste Wahl, wenn Sie Ihre Kostenbeschränkungen berücksichtigen. Wenn Sie offline mit diesen Daten leben können, dann greifen Sie zu. Festplatten sind billig, und Festplattengehäuse sind billiger als Bandlaufwerke. Weniger bewegliche Teile.

Ich gehe davon aus, dass Sie dies für das Archiv benötigen und nicht für die aktive Verwendung in einer Videorolle. Wenn ja, ist das ein anderes Speicherproblem.

Haben Sie sich in Ihrer NAS-Forschung die selbstverwalteten Speichergeräte DroboPro oder DroboElite angesehen ?

Überlegen Sie, wie hoch die Kosten wären, wenn Sie Ihr gesamtes Filmmaterial und Budget entsprechend verlieren würden;)

Haben Sie gehostete Dienste in Betracht gezogen? Ich bin nicht sicher, wie sich der Preis auswirkt, aber Sie möchten vielleicht einen Hosting-Service in Betracht ziehen, der Massenspeicher verkauft. Vielleicht AWS ?

Acht bis zehn 2-TB-Festplatten; mach zwei sätze. Wie bereits erwähnt, separat lagern ...

Ich würde mich vom Band fernhalten, da es viel empfindlicher auf die Bedingungen reagiert, unter denen es gespeichert ist als Festplatten. Auch in fünf Jahren stehen die Chancen gut, dass Sie noch ein SATA-Laufwerk an etwas anschließen können, aber möglicherweise nicht auf ein Bandlaufwerk zugreifen können, das Ihre Bänder lesen kann.

Optische Produkte sind hinsichtlich der Langzeitstabilität am besten geeignet, aber wie Sie bereits erwähnt haben, sind sie aufgrund der Kosten und der Logistik etwas unpraktisch.

Ich würde empfehlen, eine Art NAS / RAID für Live-Dateien zu haben, mit denen Sie häufig arbeiten. Wenn Sie Laufwerke mit großer Kapazität verwenden, möchten Sie möglicherweise ein RAID-6 oder ähnliches verwenden, das es Ihnen wie ein RAID-5 + -Hotspare ermöglicht, zwei Festplatten auszufallen, bevor Ihr RAID herabgesetzt wird, im Gegensatz zur Hot-Spare-Konfiguration Auf Ihrem zweiten zusätzlichen Laufwerk befindet sich ebenfalls eine Parität, sodass das RAID bei einem Ausfall nicht die Parität zum Ersatzlaufwerk wiederherstellen muss. Je größer die Laufwerke werden, desto größer ist die Wahrscheinlichkeit, dass ein Laufwerk während einer Neuerstellung ausfällt. Daher ist es gut, so viel Live-Parität wie möglich zu haben.

Darüber hinaus würde ich empfehlen, Festplatten wie Bandlaufwerke zu verwenden. Heutzutage kann man sogar Festplattenkoffer (auch diese ) kaufen , mit denen Sie Laufwerke zur Archivierung ablegen können. Sie können Dateien auf das RAID sichern und dann zusätzliche Archivierungskopien auf Laufwerken erstellen, die abgelegt werden sollen.

Einige Videoproduktionshäuser wie das Pixel Corps verwenden ähnliche Setups.

Außerdem würde ich dringend empfehlen, Dateien an mehr als einem Ort zu speichern (nicht unter demselben Dach). Befolgen Sie außerdem unbedingt das Mantra "Wenn es nicht an mindestens zwei Stellen geschrieben ist, haben Sie es noch nicht gespeichert". RAID zählt auch nicht als Backup an und für sich.

Ich gehe davon aus, dass dies größtenteils für den Offline-Backup-Typ gilt: einfach zu erstellen und wiederherzustellen, aber im täglichen Betrieb nicht häufig verwendet.

Heutzutage sind 2-TB-Laufwerke für etwa 140 US-Dollar erhältlich. Also, für 10 TB, 5 Laufwerke, 700 US-Dollar. Zahlen Sie ungefähr 400 US-Dollar, um einen Server mit geringer Leistungsaufnahme zu bauen, auf dem Debian, Ubuntu oder eine andere Linux-Variante ausgeführt wird. Wenn Sie ein System mit mehreren Netzwerkkarten erhalten, können Sie eine Verbindung herstellenDie Netzwerkschnittstellen zusammen (möglicherweise benötigen Sie einen verwalteten Switch, der Trunking unterstützt) erhöhen die verfügbare Bandbreite des Servers und schützen vor NIC-Ausfällen. Sie können den Speicher dann über Samba, NFS oder eine andere Methode für die Arbeitsstationen verfügbar machen, die ihn verwenden müssen. Bei diesem großen Datenvolumen möchten Sie wahrscheinlich eine Art Redundanz, damit Sie nicht auf Ihre Daten verzichten müssen, wenn (nicht, wenn) eines dieser Laufwerke es beißt. RAID5 ist aus mehreren Gründen keine gute Idee, aber RAID10 ist genau das Richtige für Sie. Da auf dem Server Linux ausgeführt wird, können Sie das RAID-Array mit mdadm verwalten. Dazu müssen Sie die Anzahl der physischen Geräte verdoppeln, sodass Sie bis zu 10 Laufwerke haben. Gesamtkosten dieses Speicherservers:

Wenn Sie Ihre Daten wirklich lieben (wenn dies wirklich wichtige Produktionsdaten sind, sollten Sie dies tun!), Können Sie einen doppelten Server erstellen und das Backup erstellen. Sie können dies mit einer rsync-crontab tun, die schrecklich langsam sein kann, einer Netcat / Tar-Pipe- Lösung, die sicher schneller ist, oder die RAID-Geräte als Basis für ein DRB- Gerät einrichten . Da der Speicher automatisch auf beiden Computern dupliziert wird, ist (im Wesentlichen) sichergestellt, dass die Daten redundant gesichert werden. Sie können noch ausgefallener werden und ein Heartbeat- Failover-System einrichten, um die Verfügbarkeit Ihres Datenvolumens zu gewährleisten.

Buffalo TeraStation III 8 TB Netzwerkspeicher - £ 1.085,56

amazon.co.uk Link

Ich habe eine 1-TB-Terastation-Version, die ich auf 4 TB aufgerüstet habe. In RAID5 funktioniert sie für mich einwandfrei. Sie könnten eine kleinere Version kaufen und diese selbst aktualisieren, um Geld zu sparen - oder mehrere Terastationen usw. kaufen.

Ich weiß nicht viel über Bandlaufwerke und die Semantik des Speicherns von Daten auf Band, daher kann ich Ihnen dort nicht weiterhelfen. Angesichts der unerschwinglichen Kosten, die mit der Verwendung von Bluray als Massensicherung verbunden sind, würde ich mich an ein NAS oder einzelne Laufwerke halten.

Bei NAS / Raid sollten Sie sich vorsehen, dass sie zwar eine beträchtliche Menge an Informationen auf einem einzigen virtuellen Laufwerk speichern können, dass jedoch alle Laufwerke zusammengehalten werden müssen. RAID ist im Allgemeinen keine besonders langfristige Lösung. " Backup-Lösung. Es besteht die Gefahr, dass Sie mehr als ein Laufwerk verlieren und das NAS-Gerät selbst verlieren (und es gibt nur selten Garantien, dass ein Ersatzgerät Daten von den Laufwerken lesen kann, auch wenn es sich um ein "identisches" Gerät handelt.)

Angesichts der radikal günstigen Festplatten heutzutage und ihrer allgemeinen Stabilität würde ich mich für einzelne Festplatten entscheiden. Sie könnten leicht 10 2-TB-Laufwerke für einen geringen Preis (vielleicht 1200 - 1500 US-Dollar) erwerben und zwei Sätze von Backups erstellen. Sie erhalten sowohl eine Offline- als auch eine redundante Sicherung Ihrer Daten, ohne die mit RAID oder einem NAS-Gerät verbundenen Risiken. Einzelne Laufwerke bieten außerdem eine größere Kompatibilitätsspanne, da SATA in absehbarer Zeit nicht überall eingesetzt werden kann.

Wenn Sie wirklich sicherstellen möchten, dass Sie es nicht verlieren, benötigen Sie mindestens zwei Archivierungsoptionen. Wahrscheinlich Band und Festplatten. Nur eine Kopie ohne irgendeine Form von Redundanz anzufertigen, ist nur eine andere Möglichkeit, die Datenwürfel zu würfeln.

Wenn Sie einzelne Workstations sichern möchten, sehen Sie sich je nach Speicherbedarf ein externes Speicherdock von Thermaltake BlacX für austauschbare SATA-Laufwerke an. Sie unterstützen sowohl externe USB- als auch SATA-Verbindungen. Legen Sie einfach das Laufwerk in das Dock, kopieren Sie die Daten und Sie haben ein Backup.

Ich habe Docks zu Hause und arbeite. Ich mache an jedem Ort Backups und bringe sie an den anderen Ort, um sie an einem anderen Ort zu lagern. Ich habe auch ein Scratch-Laufwerk, um laufende Arbeiten zwischen Standorten zu verschieben.

Die Docks kosten jeweils etwa 60 US-Dollar, und Sie können 1,5-TB-Laufwerke für weniger als 100 US-Dollar erwerben.

Josh, Sie haben nicht klargestellt, ob es sich um Arbeitsdaten oder um Archivdaten handelt. Wenn die Daten wertvoll sind, gibt es keinen wirklichen Unterschied zwischen Sichern und Archivieren, nur dort, wo Sie sie speichern, dh auf Ihrem Arbeitssystem oder Archivierungssystem. Wenn die Daten wertvoll sind, sind das Arbeitssystem und das Archivsystem identisch, wenn Sie die Daten schützen und die Sicherungsregeln einhalten möchten.

Das Archivieren gilt mehr für den Medientyp als für das, was darauf gespeichert ist. Das Archivieren impliziert, dass sich die Daten niemals ändern, dh einmal geschrieben und mehrmals gelesen, was im Allgemeinen als WORM bezeichnet wird. WORM-Laufwerke sind in der Regel Bänder. Bei Dingen wie RDX Quikstor und RDX Quikstation (RDX-Station mit 8 Einschüben) ist die WORM-Option für bestimmte Laufwerke verfügbar, sodass sie nicht überschrieben werden können. Ich vermute, dass die RDX-Quikstation zu Ihrer Archivierung passt.

Denken Sie daran, dass ein Archivsystem Teil eines Sicherungsplans ist. Sie sollten niemals in Betracht ziehen, nur eine Kopie von Daten zu haben.

Einige Regeln für die Sicherung sind:

3-2-1 Regel.

Drei (3) Kopien Ihrer Daten. Eine (1) Quell- und zwei (2) Sicherungen auf zwei verschiedenen Medien, von denen eine (1) außerhalb des Standorts aufbewahrt wird.

Beispiele: Onsite-Server, der auf dem NAS vor Ort gesichert wurde, und Offsite-Backup auf Band oder RDX. Onsite-Server gesichert auf Onsite-NAS und Offsite-NAS. Onsite-Server auf Onsite-NAS gesichert und in Echtzeit auf Offsite-NAS repliziert. Ihre Vor-Ort-Sicherung sollte eine Festplatte sein.

Medien:

Ihre Offsite-Sicherung hängt von der Zeit ab. Offsite-Backups auf tragbaren Medien führen automatisch zu Zeitverzögerungen. Das heißt, die Sicherung der Übernachtungen am Montag wird am Dienstagabend vor Ort ausgeführt. Wenn Sie vor Dienstagsschluss eine Katastrophe haben, verlieren Sie zwei Tage. Wie viel Sie sich leisten können, hängt ganz von Ihrem Unternehmen und der Häufigkeit der Datenänderungen ab.

Medienspeicher:

Beachten Sie die Regeln für die Medienspeicherung. Einige Bänder müssen vertikal zwischen engen Temperatur- und Feuchtigkeitsbereichen und weit entfernt von Magnetfeldquellen gelagert werden. Wenn Sie ein Band fallen lassen, wird die Zuverlässigkeit beeinträchtigt. Das Senden von Bändern nach Hause mit dem Büromädchen in der Handtasche neben dem Mobiltelefon ist eine Katastrophe. Bänder benötigen außerdem bis zu zwei Stunden in der Sicherungsumgebung, bevor sie in das Laufwerk eingelegt werden, und gleichen Temperatur und Luftfeuchtigkeit zwischen Band und Bandlaufwerk aus. Bänder müssen auch in den erforderlichen Zeit- / Schreibintervallen entsorgt und ersetzt werden.

Persönlich mag ich aus diesen Gründen kein Klebeband. Die Kosten sind nicht gering und auch nicht die Kosten dafür, dass jemand sie verwaltet. In Tape zu investieren, aber die Regeln nicht zu befolgen, ist sinnlos. Sie können es billig machen, aber die Zuverlässigkeit sinkt.

Beseitigen Sie einzelne Fehlerpunkte:

Verteilen Sie Sicherungsdaten nicht auf mehrere Medien. ZB hat die vollständige Sicherung auf einem Band und die Unterscheidung zwischen 6 anderen Bändern das Risiko eines Datenverlusts um das Siebenfache erhöht. Wenn ich ein Backup habe, möchte ich, dass es alle Dateien enthält, die zum Wiederherstellen der Daten erforderlich sind. Besser 7 vollständige Backups.

In gewisser Weise zählt Raid als mehrere Medien. Stellen Sie bei allen RAID-Anwendungen sicher, dass ein automatischer Hot-Swap-Failover erfolgt. Verfügen Sie über mindestens ein Ersatzlaufwerk in einem Laufwerksschacht als dediziertes Hot-Swap-Ersatzlaufwerk, und die Systeme tauschen das leere Laufwerk automatisch mit Hot-Swap-Ersatzlaufwerk aus. Wenn Sie über Terabytes an Daten verfügen, sollten Sie in Betracht ziehen, zwei oder mehr Hot-Swap-Ersatzteile in Ihrem RAID zu haben.

Offsite-Abstände einhalten:

Ihre Offsite-Entfernung ist wichtig. Offsite-Backups haben wenig Sinn, wenn sie nur unter bestimmten Umständen vor Datenverlust schützen. Jeder, der ein Erdbeben, eine Überschwemmung, einen Tornado, einen Hurrikan usw. erlebt hat, wird Ihnen das sagen. Bei den jüngsten Erdbeben in unserer Stadt sind viele große Unternehmen ohne Offsite-Backups (Bänder immer noch neben Servern) oder nicht lesbare Backups ins Wanken geraten. Im Allgemeinen ist 90 km eine gute Entfernung.

Ich kenne Ihr Budget nicht, daher ist es schwierig, Ratschläge zu erteilen. Das Budget wirkt sich auf die Auswahl des Backups und des Speichers aus. Ich habe für einen Filmproduzenten gearbeitet, der IT-Support anbietet, daher verstehe ich die bewegenden Teile Ihrer Branche. Es gibt viele unbeantwortete Fragen:

Welche Server haben Sie, wenn überhaupt? Wie viele Mitarbeiter haben Sie? Ist das dein einziger Spielfilm? Welche Größe hat die größte Datei oder der größte Dateisatz? Was ist die Zeit zwischen diesem Film und dem nächsten? Wenn Sie beispielsweise in Vollzeit produzieren, haben Sie den Cashflow zur Deckung der monatlichen Ausgaben, z. B. für die Remote-Sicherung über Glasfaser. Welche Art von Cashflow wird der Film generieren? Welche Anforderungen stellen Sie an die Zukunft? Diese und andere Fragen bestimmen Ihre Anforderungen, Methodik und Ihr Budget.

Beispiel: Wenn Sie 3 Spielfilme pro Jahr und Werbespots pro Monat mit einem Dutzend Mitarbeitern produzieren, können Sie sich Folgendes leisten: Server mit RAID-Backup auf RAID NAS vor Ort. Dedizierte Glasfaserverbindung (nicht so teuer) mit 100 MBit (nicht vom ISP gedrosselt), die in einem 60 m / 90 km entfernten Rechenzentrum repliziert wird. Wichtige Archivdaten sollten auf Band oder RDX geschrieben und im Rechenzentrum oder im Tape Vault gespeichert werden. Das Budget ist Ihr einziger entscheidender Faktor für den Grad der Redundanz und des Backups, den Sie sich leisten können.

Oder wenn das Budget niedrig ist und das Einkommen aus Verkäufen stammt und die Zukunft unbekannt ist, können Sie TAPE-, RDX- oder USB-Laufwerke (nicht empfohlen) in Betracht ziehen, die zu Hause aufbewahrt werden.

Aktuelle und zukünftige Anforderungen, Cashflow und Budget, gegen Datenverlust abgewogen, sind Ihre bestimmenden Faktoren. Ich schlage vor, dass Sie einen erfahrenen Backup-Spezialisten und / oder Business-Analysten beauftragen, um den Speicher- und Backup-Prozess für Sie durchzuführen.